（2024|ICLR，LLM 幻觉，事实性，知识层次）DoLa：通过对比层解码可提高大型语言模型的事实性_dola: decoding by contrasting layers improves fact-CSDN博客

大型语言模型（LLMs）在自然语言处理任务中表现出色，但仍然存在 “幻觉” 问题，即生成的内容可能与事实不符。本文提出了一种新的解码方法——对比层解码（Decoding by Contrasting Layers，DoLa），它通过对比 LLM 不同层的输出来减少幻觉问题，而无需检索外部知识或额外微调。

主要贡献：

提出了一种新的解码策略 DoLa，通过对比模型高层与低层的输出来提升生成内容的事实性。
在多个数据集（TruthfulQA、FACTOR等）上的实验表明，DoLa 在多个模型（LLaMA 7B、13B、33B、65B）上均提升了事实性。
该方法计算成本较低，仅增加少量解码延迟。

2. 方法

2.1 事实知识跨层演化

通常，较低层次负责字词和语法信息，而较高层次更倾向于存储语义和事实知识。

图 2 展示了在解码输入问题的答案时计算得到的 JSD（Jensen-Shannon 散度），从中可以观察到两种模式：

模式 1（Pattern #1）：

发生在预测 重要的专有名词或日期（例如图 2 中的 Wole Soyinka 和 1986）时，这些词通常需要依赖事实性知识。
我们观察到，在模型的 较高层次 中，计算得到的 JSD 仍然保持极高的数值。这表明模型在最后几层仍然在调整其预测，并可能在这个过程中注入更多的事实性知识。

模式 2（Pattern #2）：

发生在预测 功能性词（function words）（如 was, the, to, in）以及直接从输入问题中复制的词（如 first Nigerian, Nobel Prize）时。
在生成这些 简单词汇 时，我们观察到 JSD 从中间层开始变得非常小。这表明模型在中间层已经决定了要生成的 token，且在较高层的输出分布几乎保持不变。

2.2 层对比解码

层对比解码（Decoding by Contrasting Layers）通过计算 高层（mature layer）与 低层（premature layer）之间的 logit 差异 来计算下一 token 的概率：

这里，将层 M 称为早期层（Premature Layer），而将最后一层，即层 N 称为最终层（Mature Layer）。q_N 和 q_M 分别是高层与低层的输出分布。算子 F 通过计算两个分布之间的对数域差异来对比早期层和最终层的输出分布。

2.3 动态选择最优早期层

为了增强对比解码的效果，最优的早期层（Premature Layer）应当是与最终层（final layer）输出最不同的层。为了在每个时间步动态选择最优的早期层，我们采用以下度量方法来计算两个层的下一词分布的距离：

其中，JSD（Jensen-Shannon 散度）用于衡量两个分布之间的差异性。然后，我们选择 JSD 值最大的早期层 M 作为对比层，即：

其中，J 是一组候选早期层的集合，而不是所有层，以确保对比来自合理范围内的层次。

对于不同层数的 LLaMA 模型，我们将其层划分为 2 至 4 个区间 (buckets)，从中选择适合的层进行对比。对于每个任务，我们使用验证集来选择最佳的对比层区间。这种动态层选择策略可以根据不同 token 的难度选择合适的早期层，使得模型能够更好地利用各层学到的知识。

2.4 对比预测

在获得早期层（premature layer）和最终层（mature layer）后，我们的目标是增强最终层的输出，同时削弱早期层的输出。

参考 对比解码（Contrastive Decoding），我们通过减去早期层的对数概率来调整最终层的预测分布，并使用得到的分布进行下一词预测，如图 1 所示：

子集 V_head 被定义为：

即：只有当最终层的输出概率 q_N(x_t) 高于某个阈值 时，x_t 才会被选入候选集合 V_head。此策略称为 自适应可信性约束（Adaptive Plausibility Constraint, APC）

DoLa 旨在削弱低层的语言模式信息，并增强真实世界的事实性知识。然而，这可能会导致模型生成的文本出现语法错误或过度重复。尽管实验中未观察到语法错误的问题，但我们发现 DoLa 解码出的文本有时更容易重复，尤其是在生成长篇推理文本（Chain-of-Thought Reasoning）时。

为了解决这个问题，我们引入了 简单重复惩罚策略，设置 θ = 1.2，以减少重复生成的概率。