UIUC：LLM幻觉源自训练数据的知识掩盖

📖标题：Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models
🌐来源：arXiv, 2407.08039

🛎️文章简介

🔸研究问题：即使训练语料库仅由真实陈述组成，大语言模型（LLM）仍然会产生幻觉。
🔸主要贡献：论文揭示了知识掩盖现象与模型幻觉之间的关系，并提出了一种无需训练的自对比解码方法来减轻幻觉。

📝重点思路

🔺相关工作

🔸模型幻觉：LLM经常产生非事实信息的幻觉，表现为输入冲突、上下文冲突或事实冲突。
🔸幻觉原因：过时或缺乏领域训练数据，数据没有被充分利用，生成过程中的随机采样，数据中固有的错误信息和偏见。
🔸模型泛化：最新进展利用了信息论方法，根据模型输入和输出之间的互信息建立了推理泛化的上限。

🔺论文方案

🔸第一步：定义了知识掩盖现象，当输入包含多个条件时，某些条件会掩盖其他条件，从而导致幻觉输出。
🔸第二步：构建了四种不同类型的条件数据，分别为事件-时间、事件-位置、性别偏见和否定。
🔸第三步：设置不同的数据配比，通过多次微调实验，观察数据不平衡与模型幻觉频率之间的关系。
🔸第四步：为了缓解数据配比导致的知识掩盖，提出自对比解码（SCD）来降低训练阶段引入的条件偏差。

🔎分析总结

🔸LLM中普遍存在知识掩盖现象，对于各类任务均有影响，导致幻觉率增加。
🔸模型规模越大，幻觉率越高，表明存在逆向缩放现象，体现在常见数据和不常见数据上表现两极分化。
🔸权重衰减、条件长度和不平衡比率的增加，尽管可以提高模型泛化能力，也会加剧知识掩盖现象，这种相关性表明知识掩盖是一种过度泛化的情况。

💡个人观点

论文提出了知识掩盖现象，特别是泛化性和幻觉率的权衡值得参考。

附录