幻觉问题综述

https://arxiv.org/pdf/2202.03629

分类

内在幻觉：生成的输出与源内容相矛盾
外部幻觉：生成的输出无法从源内容中验证

数据引发的幻觉（来源不同引发分歧）
训练和推理中的幻觉（编码器不能很好的表征，解码错误，曝光偏差：训练时解码器被鼓励预测以真实前缀序列为条件的下一个标记，推理时根据自身先前生成的歷史序列来生成下一个标记；参数化知识偏差）

输入冲突幻觉/上下文冲突幻觉/事实冲突幻觉

事实幻觉 / 忠诚度幻觉

多模态中的分类：

在 MLLM 中，物体幻觉根据经验分为三类：

1） 类别，识别给定图像中不存在或不正确的物体类别;

2） attribute，强调对对象属性的描述，例如颜色、形状、材质等;

3） 关系，评估对象之间的关系，例如人与对象的交互或相对位置。

产生幻觉的原因

数据质量
信息时效性：大模型有时会忘记先前的信息，且更新信息具有挑战性，导致过时信息产生幻觉输出。

描述粒度

数据分布

视觉模型能力不足

模态对齐能力不足

推理阶段：随着序列长度的增长，自我注意力会更多地集中在先前生成的文本标记上，即对视觉内容的注意力被稀释[45,102-104]。
通过可视化生成过程中的注意力图[45,104]，可以观察到生成的内容更关注先前的特殊标记，如标点符号，而不是视觉内容标记。“失去注意力”的问题也会导致模型的输出响应与视觉内容无关。

LVLM中的幻觉不仅是由LLM的生成性质引起的，还包括有偏见的训练数据、视觉编码器无法准确地定位图像、不同模态之间的错位、上下文关注不足以及许多其他因素。

与原因相对应，当前的缓解方法主要集中在数据训练的优化、LVLM中各种模块的细化以及生成输出的后处理上。

衡量幻觉的指标

统计指标

1. 词汇特征（n-gram）来计算生成文本和参考文本之间的信息重叠和矛盾（不匹配计数）
2. PARENT（表格中蕴含 n 元组的精确率和召回率）

基于模型的指标

• 神经模型
• 基于信息抽取（表示为关系元组格式+验证是否匹配）
• 基于问答
• 自然语言推理指标（忠实度得分定义为源文本与其生成文本之间的蕴涵概率）
• 基于语言模型的指标（无条件 LM 仅在数据集中的目标（真实参考）上进行训练，而一个条件语言模型 𝐿𝑀𝑥则在源数据和目标数据上进行训练）

TruthfulQA、HaluEval、FACTOR、EigenScore、RealHall、FELM、FreshQA、RealTimeQA、ERBench、FACTSCORE、BAMBOO、MedHalt、ChineseFactEval、UHGEval、HalluQA

CHAIR：通过量化模型生成和地面实况字幕之间的对象差异来评估图像字幕中的对象幻觉



当前的评估方法可以分为两种主要方法：（1）评估模型的非幻觉内容生成能力，（2）评估模型的幻觉识别能力

人工评估：评分/比较

幻觉缓解方法

数据相关：短句修剪，去语境化，语法修改，自动数据清洗/过滤，信息增强

模型角度：编码器改进（双编码），注意力机制改进（稀疏注意力/归纳注意力），解码器改进（多分支解码器/不确定感知解码器），在LVLM中还包括视觉编码器 / 连接模块 / LLM的改进

训练角度：

规划（限制内容顺序/提供框架）

强化学习（用不同的奖励优化模型：ROUGE/多项选择完形填空分数）

多任务学习（单个数据集容易导致幻觉→在训练过程中添加适当的额外任务以及目标任务）

可控生成（受控重采样、可手动提供的控制代码或自动预测的控制代码）

其他方法：多智能体交互/正则化/损失重构/后处理（生成+细化）/

在 LLM 的每个隐藏层之上添加了一个分类器来确定真实性。实验结果表明，LLM 可能会“知道”他们生成的陈述何时是错误的，而 SAPLMA 可以有效地提取此类信息

推理角度

对比解码

导引解码

GCD[24]设计了一种CLIP-Guled Decoding（GCD）方法。它首先通过跨不同模型和数据集的一系列研究验证了CLIPScore[88]能够有效区分幻觉和非幻觉句子

OPEAR[45]的工作提出了一个有趣的观察结果，即大多数幻觉与自我注意力矩阵中表现出的知识聚合模式密切相关，即MLLM倾向于通过关注几个摘要标记而不是所有以前的标记来生成新的标记

指标设计

1. 能够差异化衡量两种幻觉的细粒度指标
2. 事实核查：知识证据选择+声明验证两个子任务
3. 泛化：研究源文本/输出文本之间的关系和共同点
4. 融入人类认知视角：人类对不同类型的信息敏感程度不同

幻觉减缓方法的未来方向

1. 通用且鲁棒的数据预处理方法
2. 数字幻觉（生成文本中数字的正确性非常重要）
3. 外部幻觉缓解
4. 未来研究需要优先开发音频、3D 建模和基于代理的系统等领域的强大数据集。
5. 研究模型如何模仿人类的短期和长期记忆功能，以增强知识更新并保留基础信息。
6. 探索使模型能够适当参与幻觉活动的方法，以实现幻觉和创造之间的平衡。

幻觉（未来可能出现的+解决方案）

1. 长文本中的幻觉：基于 Longformer的模型可以帮助编码长输入
2. 抽象摘要中的幻觉
3. 对话生成中的幻觉（自我一致性/外部一致性）
4. 生成问答中的幻觉（生成的答案和基本事实答案之间的语义重叠、生成的答案的忠实度以及答案和源文档之间的事实一致性，只考虑了幻觉的一个方面。可以设计能够考虑与幻觉相关的所有因素(如语义重叠、忠实度或事实一致性)的度量标准）
5. 数据转文本中的幻觉
6. 机器翻译中的幻觉
7. 视觉语言生成中的幻觉
8. 图像字幕中的客体幻觉
9. 其他VL任务中的幻觉
10. LLM中的幻觉（这个方法就多了：预训练数据质量 / 指令调优 / RL / RAG / CoT / 后处理 / 集成）

https://zhuanlan.zhihu.com/p/671435046