什么是大模型“幻觉“？大模型为什么有“幻觉”？

最新推荐文章于 2025-04-11 16:01:00 发布

大模型微调部署

最新推荐文章于 2025-04-11 16:01:00 发布

阅读量1.1k

点赞数 11

文章标签：机器学习人工智能算法 AI大模型大模型 LLM ai

本文链接：https://blog.csdn.net/star_nwe/article/details/143361194

版权

大模型在各种下游任务取得了非常出色的性能，但是我们使用的过程中，不可否认，偶尔会产生下面的一些问题：

这种现象被称为“幻觉”。本文提出了LLMs幻觉现象的分类，分析了用于评估幻觉的基准测试，探讨了旨在减轻LLMs幻觉的现有方法，并讨论了未来研究的潜在方向。

下面的图片概括了本文的主要内容：

一、幻觉的三个定义

输入幻觉（Input-Conflicting Hallucination）： 这种幻觉发生时，LLMs 生成的内容与用户的输入不符。例如，一个模型可能生成与用户问题无关的答案。

上下文幻觉（Context-Conflicting Hallucination）： 这类幻觉指的是生成的内容与之前生成的上下文相矛盾。这可能发生在对话生成或相关需要维持一致性的任务中。

事实幻觉（Fact-Conflicting Hallucination）： 这种幻觉涉及到生成内容与已建立的世界知识不一致，如事实错误或错误的信息。

输入幻觉基准（Input-Conflicting Benchmark）： 这些基准测试旨在评估模型在面对可能引发输入冲突幻觉的任务时的表现，比如 QMSum，FENMT，FEQA 等。

上下文幻觉基准（Context-Conflicting Benchmark）： 如 HADES 等，这些基准测试用于评估模型在长篇生成或需要上下文一致性的情况下的表现。

事实幻觉基准（Fact-Conflicting Benchmark）： 例如 TruthfulQA，FActScore，HaluEval，FACTOR 等，这些测试用于检测模型在面对需要准确事实信息的任务时是否会产生事实错误。

预训练期间策略（Pre-training）： 大型语言模型（LLMs）会从大量的训练数据中积累知识，并将其嵌入模型参数中。幻觉可能发生在模型缺乏相关知识或从训练数据中吸收了错误知识时。

通过以下方法可以在预训练期间减轻幻觉：

清洗预训练语料库：筛选出那些不可靠或不可验证的数据，确保 LLMs 在训练期间接触到的信息是准确和可靠的。质量控制：使用高质量参考语料库进行相似性匹配来清洗数据，如 GPT-3 的预训练数据清理过程。
数据选择与过滤：自动选择可靠数据或过滤出噪声数据。例如，Llama 2 模型在约两万亿 token 上进行了预训练，并有策略地从事实来源如维基百科中抽样数据。
事实性强化：在预训练阶段强调每个句子作为独立事实，通过在句子前添加主题前缀来提高模型对事实性的理解。

“预训练过程中幻觉的缓解主要集中在围绕预训练语料库。目前主要采用简单的启发式规则进行数据选择和过滤。”

监督式微调（SFT）期间的策略： 监督式微调（SFT）是一种常见的做法，主要调整 LLMs 从预训练中获得的知识，并学习如何与用户互动。

在 SFT 阶段可以采取以下措施：

Honesty-oriented SFT： 在 SFT 数据中引入诚实样本，这些样本会承认“我不知道”或表达无法回答某些问题的无能为力，从而教会 LLMs 在其知识范围之外时如何适当回应。

质量监控： 手动或自动策划 SFT 数据，选择高质量的指令性数据，通过人类专家手动标注或设计特定规则来自动选择。

行为克隆风险管理： 注意 SFT 过程中可能通过模仿专家行为而引入的幻觉，这可能导致模型学习到的是形式和风格而非实质内容。

基于人类反馈的强化学习（RLHF）： RLHF 是一种训练策略，通过人类反馈来强化和调整 LLMs 的行为。

这种方法可以在 LLMs 推理阶段减少幻觉风险：

“RLHF 可能会表现出保守主义，在 helpfulness 和 honesty 之间存在 imbalanced trade-off。比如说，下图的回答就是一个例子：ChatGPT 倾向于过度回避，避免提供它已经知道的答案。”

推理期间（inference time）的幻觉缓解策略

设计解码策略：

解码策略： 比如贪婪解码和 beam search 解码，它们决定了我们如何从模型生成的概率分布中选择输出 token。
factual-nucleus sampling： Lee et al. (2022) 提出了一种新的解码算法，旨在通过结合 top-p 采样和贪婪解码的优势来更有效地平衡多样性和事实性。

“该方法易于部署，具有应用前景。然而，对于这种方法，大多数都需要访问token输出概率，而大量llm是闭源的，无法获得这样的信息”

依赖外部知识：

链式验证框架（CoVE）： Dhuliawala et al. (2023) 开发了基于独立验证问题的观察的解码框架，以改进长答案的事实性。
推理-时间干预（ITI）： Li et al. (2023b) 引入了一种新的方法，基于 LLMs 具有与事实解释相关的潜在、可解释的子结构的假设，通过在每个注意力头上拟合二分类器来识别出与事实性相关的头集合，并在推理期间沿这些事实性相关的方向调整模型激活。
上下文感知解码（CAD）： Shi et al. (2023b) 提出了一种直接的上下文感知解码策略，旨在仅考虑查询来改进生成的内容的事实性。

利用外部知识：

知识获取： LLMs 通过预训练和微调获取大量内部化知识。然而，不正确或过时的参数化知识可能导致幻觉。研究人员提议从可靠来源获取最新的、可验证的知识作为外部知识库的一种补充。
外部工具： 除了仅从知识库检索信息之外，还可以使用外部工具向 LLMs 提供有价值的证据，以增强它们生成的内容的真实性。