本文是LLM系列文章,针对《Collaborative decoding of critical tokens for boosting factuality of large language models》的翻译。
摘要
大型语言模型最常见的训练管道包括预训练、微调和对齐阶段,以及它们各自的结果模型,如预训练模型和微调模型。经过微调和调整的模型显示出更好的指令遵循和安全生成能力,但它们保持真实世界的能力会受到微调过程的影响。此外,在生成过程中使用采样的常见做法也增加了产生幻觉的机会。在这项工作中,我们引入了一个协作解码框架,通过关键token的概念来利用预训练模型中的高真实性。我们首先设计了一个关键token分类器来决定下一个token使用哪个模型,然后使用不同的解码策略生成下一个token。对不同模型和数据集的实验表明,我们的解码框架能够显著减少模型幻觉,这表明了协作解码框架的重要性。
1 引言
2 关键token
3 协同解码策略
4 实验
5 相关工作
6 结论
在这项工作中,我们提出了一种称为协作解码策略(CDS)的解码策略框架