On Large Language Models’ Hallucination with Regard to Known Facts

本文是LLM系列文章，针对《On Large Language Models’ Hallucination with Regard to Known Facts》的翻译。

摘要

大型语言模型可以成功地回答事实问题，但也容易产生幻觉。我们从推理动力学的角度研究了LLM拥有正确答案知识但仍产生幻觉的现象，这是以前幻觉研究中没有涉及的领域。我们能够通过两个关键思想进行分析。首先，我们确定了质疑相同三重知识但导致不同答案的事实问题。因此，正确和不正确输出的模型行为之间的差异表明了幻觉发生时的模式。其次，为了测量模式，我们利用从残差流到词汇空间的映射。我们揭示了在正确和幻觉的情况下，输出token概率沿着层的深度的不同动态。在幻觉的情况下，输出token的信息很少在模型的后期表现出突然增加和一致的优势。利用动态曲线作为一个特征，我们构建了一个能够准确检测幻觉预测的分类器，成功率为88%。我们的研究有助于根据LLM的已知事实来理解LLM产生幻觉的原因，更重要的是，准确预测LLM何时产生幻觉。

1 引言

2 相关工作

3 实验设置

4 结果

5 结论

我们分析了LLM对已知事实产生幻觉的场景。使用基于三元组知识的数据集