DOLA: DECODING BY CONTRASTING LAYERS IMPROVES FACTUALITY IN LARGE LANGUAGE MODELS----DOLA：通过对比层进行解

DOLA: DECODING BY CONTRASTING LAYERS IMPROVES FACTUALITY IN LARGE LANGUAGE MODELS
----
DOLA：通过对比层进行解码可提高大型语言模型的真实性

†麻省理工学院，

微软

摘要

尽管大型语言模型（LLM）的能力令人印象深刻，但它很容易产生幻觉，即生成与预训练期间看到的事实不同的内容。我们提出了一种简单的解码策略，通过预训练的 LLM 来减少幻觉，不需要对检索到的外部知识进行调节，也不需要额外的微调。我们的方法通过对比将后面的层与前面的层投影到词汇空间所获得的逻辑差异，利用 LLM 中的事实知识通常被证明局限于特定的转换器层这一事实，来获得下一个标记分布。我们发现这种通过对比层解码（DoLa）方法能够更好地呈现事实知识并减少错误事实的产生。 DoLa 不断提高多项选择任务和开放式生成任务的真实性，例如将 LLaMA 系列模型在 TruthfulQA 上的性能提高了 12-17% 的绝对点，展示了其使法学硕士可靠地生成真实事实的潜力。

1 简介

大型语言模型 (LLM) 在众多自然语言处理 (NLP) 应用中展现出巨大潜力（Brown 等人，2020 年；OpenAI，2022 年；2023 年）。然而，尽管 LLM 的性能不断提高并且出现了扩展 LLM 的新功能（Wei 等人，2022a），但他们倾向于“产生幻觉”，即生成偏离预训练期间观察到的现实世界事实的内容（Ji 等人） al., 2023），仍然是一个持续存在的挑战。这代表了其部署的主要瓶颈，特别是对于高风险应用程序（例如临床/法律设置）来说，可靠地生成可信文本至关重要。

虽然 LM 产生幻觉的确切原因尚不完全清楚，但可能的原因是最大似然语言建模目标，该目标最大限度地减少了数据和模型分布之间的前向 KL 散度。这一目标可能会导致模型具有大规模搜索行为，从而导致 LM 将非零概率分配给与训练数据中嵌入的知识不完全一致的句子。根据经验，在有限数据上使用下一个单词预测目标训练的 LM 已被证明会产生一个使用语言知识来识别表面模式的模型，而不是识别和生成从训练语料库中提取的现实世界事实（Ji等人，2023）。

从模型可解释性的角度来看，transformerLM 已被广泛地证明可以在较早的层中编码“较低级别”信息（例如词性标签），并在较晚的层中编码更多“语义”信息（Tenney 等人，2019） ）。最近，戴等人。 (2022) 发现“知识神经元”分布在预训练的 BERT 模型的最顶层。孟等人。 (2022) 表明，甚至可以通过操纵自回归 LM 中的一组特定前馈层来编辑事实知识。我们建议利用这种知识的模块化编码，通过对比解码方法来放大 LM 中的事实知识，其中输出下一个单词的概率是从较高层与较低层之间的逻辑差异获得的。通过强调较高层的知识并淡化较低层的知识，我们有可能使 LM 更加真实，从而减少幻觉。

图 1：LLM的图示逐步将事实信息逐层纳入其中。虽然“西雅图”的下一个单词概率在不同层中保持相似，但正确答案“奥林匹亚”的概率从较低层到较高层逐渐增加。 DoLa 利用这一事实通过对比层之间的差异来进行解码，以提高 LLM 获得实际正确输出的概率。

图 1 显示了这个想法的简单示例。虽然“Seattle”在所有层中都保持高概率（大概是因为它是一个语法上合理的答案），但在较高层之后，真实答案“Olympia”的概率会增加注入更多事实知识。因此，对比不同层之间的差异可以揭示这种情况下的真实答案。基于这个概念，我们提出了一种新的解码方法，即通过对比层解码（DoLa），以更好地呈现法学硕士中嵌入的事实知识，而无需检索外部知识或进行额外的微调。

TruthfulQA 的实验（Lin 等人，2022）和 FACTOR Muhlgay 等人。 (2023) 证明 DoLa 能够提高 LLaMA 家族模型的真实性 (Touvron et al., 2023)。针对 StrategyQA（Geva 等人，2021）和 GSM8K（Cobbe 等人，2021）的思想链推理的进一步实验也表明，它可以促进更多事实推理。最后，使用 GPT-4 进行开放式聊天机器人评估的实验（Chiang 等人，2023）表明，与原始解码方法相比，DoLa 可以生成信息丰富且更加真实的响应，从而使 GPT4 获得更好的评级。从效率的角度来看，我们发现 DoLa 在解码过程中只造成很小的额外延迟，这表明它是提高 LLM 真实性的实用且有用的解码策略。

2 方法

最近的语言模型由一个嵌入层、N 个堆叠