Trusting Your Evidence: Hallucinate Less with Context-aware Decoding----相信你的证据：通过上下文感知解码减少幻觉

Trusting Your Evidence: Hallucinate Less with Context-aware Decoding Weijia Shi 1 ∗ Xiaochuang Han 1 ∗ Mike Lewis 2 Yulia Tsvetkov 1 Luke Zettlemoyer 1 Scott Yih 2 1 University of Washington, Seattle, WA, 2 Meta AI {swj0419, xhan77}@cs.washington.edu
----
相信你的证据：通过上下文感知解码减少幻觉 Weijia Shi 1 ＊ Xiaochuang Han 1 ＊ Mike Lewis 2 Yulia Tsvetkov 1 Luke Zettlemoyer 1 Scott Yih 2 1 华盛顿大学，西雅图，华盛顿州，2 Meta AI

摘要

语言模型 (LM) 通常很难对输入上下文给予足够的关注，并生成不忠实或包含幻觉的文本。为了缓解这个问题，我们提出了上下文感知解码（CAD），它遵循对比输出分布，放大了在有上下文和没有上下文的情况下使用模型时输出概率之间的差异。我们的实验表明，在没有额外训练的情况下，CAD 可以显着提高不同 LM 系列的忠实度，包括用于摘要任务的 OPT、GPT、LLaMA 和 FLAN-T5（例如，LLaMA 在事实性指标中提高了 14.3%）。此外，当模型的先验知识与所提供的上下文相矛盾时，CAD 在覆盖模型的先验知识方面特别有效，从而显着改进必须解决知识冲突的任务。

1 简介

语言模型 (LM) 在生成连贯且流畅的提示或文档前缀延续方面非常有效。在生成过程中，它们主要依赖于两个知识来源：（1）先验知识，在预训练期间学习并隐式存储在模型参数中； (2) 上下文知识，作为前缀上下文中的输入传递（Chan 等人，2022）。然而，预训练的 LM（尤其是没有特定任务微调的普通 LM）如何在生成过程中平衡这两个知识源仍然是一个悬而未决的问题。

先前的研究表明，语言模型可能无法对上下文知识中引入的新信息给予足够的关注。这可能会导致摘要中的幻觉（Maynez et al., 2020；Pagnoni et al., 2021），其中生成的摘要包含输入文档中不存在的事实。当上下文知识与先验知识相矛盾时，对上下文的关注不足尤其成问题（Longpre et al., 2021; Zhou et al., 2023）。例如，当 LLaMA (Touvron et al., 2023) 在其上下文中看到最新文档“阿根廷赢得了 1978、1986 和 2022 年 FIFA 世界杯......”时（图 1），它仍然预测“Two”回答“阿根廷赢得了多少届世界杯？”的问题，部分原因是训练数据过时。

在这项工作中，我们提出了一种简单的上下文感知解码（CAD）方法，以鼓励 LM 在生成过程中关注其上下文。如图 1 所示，CAD 从新的输出分布中采样，这放大了有上下文文档和没有上下文文档的输出概率之间的差异。这提供了一种新的对比解码形式（Li et al., 2022），当提供更多相关的上下文信息时，它可以有效地降低先验知识的权重。 CAD 可以与现成的预训练语言模型一起使用，无需任何额外的培训。

图 1：上下文感知解码的图示。

摘要任务的实验结果表明，上下文感知解码显着增强了各种普通 LM 的生成忠实度，包括 OPT (Zhang et al., 2022)、GPT-Neo (Black et al., 2021)、LLaMA (Touvron et al., 2021)、LLaMA (Touvron et al., 2021)。 2023）和指令微调的 LM，例如 FLAN（Chung 等人，2022）。例如，当应用于 CNN-DM 中的 LLaMA-30B 时，CAD 使 ROUGE-L (21%) 和摘要事实性评估指标 (14.3%) 都有显着改善。更值得注意的是，CAD 对于知识冲突任务特别有益，其中上下文包含与模型先验知识相矛盾的信息。 CAD 在知识冲突 QA 数据集上将 LLaMA-30B 的性能提升了 2.9 倍（Longpre 等人，2021）。此外，我们观察到，在知识冲突任务中，随着模型大小的增加，CAD 带来的收益也会增加。这些结果证明了 CAD 在减轻文本生成中的幻觉以及用可靠且可信的信息推翻先验知识方面的潜力。

2 方法

2.1 背景

给定一个语言模型 θ、一个输入查询 x 和一个包含一些不熟悉或与模型先验知识相冲突的外部知识的上下文 c，我们要求模型 θ 在给定查询和上下文的情况下生成响应 y。响应可以直接从以查询 x 和上下文 c 为条件的概率分布中采样（自回归）：

然而，在上下文 c 包含相对于 θ 不分布的知识的情况下，我们假设模型可能难以有效地关注 c 并过度依赖 θ 中编码的先验知识。例如，如图 1 所示，当上下文 c 表示“阿根廷在 1978 年、1986 年和 2022 年赢得 FIFA 世界杯......”时，它与 LM 过时的先验知识（即阿根廷两次赢得世界杯）相矛盾。即使提供上下文 c 和查询 x，语言模型仍然可能错误地预测“Two”。

2.2 上下文感知解码

为了缓解这些问题，我们从模型的原始输出分布中提取出先验知识。在这里，我们将先验知识建模为 pθ(yt ∣ x, y<t)，并使用上下文 c 和生成 yt 之间的逐点互信息（PMI）调整模型的原始输出概率分布，以 x, y 为条件<t。正式地，我们有：

其中输出概率是原始输出概率和按 α 加权的 PMI 的专家乘积。本质上，当包含上下文时，更可能出现的输出是首选（图 1）。

该表达式不是有效的概率分布，需要在 yt 的所有可能值上进行归一化。通过重新排列条款，我们得到最终的形式：

较大的 α 意味着我们的调整权重更大（α = 0 简化为常规解码）。1 我们将这种简单的方法称为上下文感知解码。根据调整后的输出分布 ̃ p，我们可以应用各种采样策略，例如核采样（Holtzman et al., 2019）。

本质上，上下文感知解码只是 pθ(yt ∣ c, x, y<t) 和 pθ(yt ∣ x, y<t) 的 logits 之间的对比集合。类似的对比目标在图像生成中很普遍，其中无分类器扩散模型（Ho 和 Salimans，2022）用 (1+α)εθ(x, c)−αεθ(x) 预测扩散噪声，其中 c 是图片。在文本生成中，Malkin 等人。 （2021）提出以相同的直觉增强连贯性，重点是对比完整的输入和简短的无前提输入，促进连贯性。长的上下文。在这项工作中，不是使用单一模型 θ，而是可以在分布调整中使用不同的模型来降级不需要的模型行为或提取专家模型的能力（Liu 等人，2021；Li 等人，2022）。