Trusting Your Evidence: Hallucinate Less with Context-aware Decoding----相信你的证据：通过上下文感知解码减少幻觉

最新推荐文章于 2025-05-05 14:07:50 发布

Mars_prime

最新推荐文章于 2025-05-05 14:07:50 发布

阅读量1.2k

点赞数 6

分类专栏： LLM 对比解码文章标签：人工智能 LLM 自然语言处理

本文链接：https://blog.csdn.net/Mars_prime/article/details/137025148

版权

本文提出上下文感知解码(CAD)，一种方法，通过对比上下文和无上下文的输出概率，促使语言模型关注输入上下文，从而减少生成文本中的幻觉。实验显示CAD显著提高了不同LM的忠实度，并在处理知识冲突任务时效果尤为明显。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Trusting Your Evidence: Hallucinate Less with Context-aware Decoding Weijia Shi 1 ∗ Xiaochuang Han 1 ∗ Mike Lewis 2 Yulia Tsvetkov 1 Luke Zettlemoyer 1 Scott Yih 2 1 University of Washington, Seattle, WA, 2 Meta AI {swj0419, xhan77}@cs.washington.edu
----
相信你的证据：通过上下文感知解码减少幻觉 Weijia Shi 1 ＊ Xiaochuang Han 1 ＊ Mike Lewis 2 Yulia Tsvetkov 1 Luke Zettlemoyer 1 Scott Yih 2 1 华盛顿大学，西雅图，华盛顿州，2 Meta AI

摘要

语言模型 (LM) 通常很难对输入上下文给予足够的关注，并生成不忠实或包含幻觉的文本。为了缓解这个问题，我们提出了上下文感知解码（CAD），它遵循对比输出分布，放大了在有上下文和没有上下文的情况下使用模型时输出概率之间的差异。我们的实验表明，在没有额外训练的情况下，CAD 可以显着提高不同 LM 系列的忠实度，包括用于摘要任务的 OPT、GPT、LLaMA 和 FLAN-T5（例如，LLaMA 在事实性指标中提高了 14.3%）。此外，当模型的先验知识与所提供的上下文相矛盾时，CAD 在覆盖模型的先验知识方面特别有效，从而显着改进必须解决知识冲突的任务。