幻觉消除论文阅读：通过诱导幻觉缓解大型语言模型的幻觉

Alleviating Hallucinations of Large Language Models through Induced Hallucinations

https://github.com/hillzhang1999/ICD

背景

先前研究认为的幻觉来源：

• LLMs 的预训练目标：基于最大似然的下一个词预测。这种目标可能会导致 LLMs 对训练数据中出现的非事实信息分配非零概率，或者过度依赖从训练语料库中学习到的表面模式，而不是记忆现实世界的事实
• 知识不足：减轻这种情况的一种直观想法是通过事后监督微调 (SFT) 向 LLM 注入更多知识（然而，SFT 也可能会无意中鼓励 LLM 产生幻觉，迫使它们回答超出其知识范围的问题，同时通过SFT灌输知识需要大量事实数据，在计算上具有挑战性）

先前的缓解幻觉方法：

• 高质量训练数据
• 从外部反馈中进行强化学习
• 检索增强生成
• 使用模型不确定性

OpenAI 的 SuperAlignment 团队揭示了弱到强的泛化现象（Burns 等人，2023），表明弱模型有可能激发出强模型的能力

受其启发，我们通过微调或零样本提示，可以很容易地从大型语言模型 (LLM) 中诱导出幻觉，而对幻觉进行惩罚可以有效地引导 LLM 生成更多的事实性内容

对比解码（CD