什么是大模型幻觉？它是如何产生的？怎么优化？

EnjoyEDU

于 2024-09-20 21:38:55 发布

阅读量1.2k

点赞数 10

文章标签：人工智能深度学习 LLM 语言模型程序人生自然语言处理

本文链接：https://blog.csdn.net/enjoyedu/article/details/142405570

版权

一、什么是大模型幻觉

相信大家在使用ChatGPT或者其他大模型时会遇到这样的情况，模型答非所问甚至自相矛盾。这种现象我们称为“幻觉”

"幻觉"指的是模型生成的信息或回答不准确或虚假的现象。比如，模型可能在回答问题时编造不真实的细节，或者对事实产生错误的解释。在准确率要求非常高的场景下幻觉是不可接受的，比如新闻领域、医疗领域、金融领域等。

以下为几个典型的大模型幻觉案例：

1、阅读理解任务中的幻觉：大模型在回答问题时，可能会产生与原文无关的答案，甚至编造事实。

2、图像识别任务中的幻觉：大模型在识别图像时，可能会将无关的物体识别为目标物体，导致错误判断。

3、生成文本任务中的幻觉：大模型在生成文本时，可能会产生语法错误、逻辑混乱的现象。

二、大模型幻觉产生的原因

大模型幻觉的形成源于多个方面，大模型产生幻觉的根本原因，主要分为三个关键方面：数据、训练和推理。

1、来源于数据偏差

大模型的知识和能力主要来自于预训练数据，如果预训练数据使用了不完整、存在系统性误差或者过期的数据，那么就很可能导致知识的错误，从而引起幻觉现象。比如：

训练集中某个类别的样本过多，模型可能会过度偏向于预测这个类别，即使在遇到属于其他类别的数据时也是如此。
训练数据的不充分性：训练数据可能无法覆盖所有可能的情况，特别是在一些具有高度多样性的领域，其后果就是当模型遇到训练数据中未出现的情况时，可能会做出错误的预测，因为它没有学习到如何处理这些情况。

2、来源于训练

预训练阶段：大模型在这一阶段学习通用表征并捕捉广泛的知识，通常采用基于transformer的架构，在庞大的语料库中进行因果语言建模。但是，固有的架构设计和研究人员所采用的特定训练策略，可能会产生与幻觉相关的问题。比如：过拟合使得模型在训练数据上学习得太过精确，以至于它不仅学习了数据的真实分布，还学习了数据中的随机噪声和特异性特征。

3、来源于生成/推理

经过预训练后，解码在体现大模型能力方面发挥着重要作用。然而，解码策略的某些缺陷可能导致大模型出现幻觉。关键原因是解码策略固有的随机性、缺乏透明度和可解释性（深度学习模型其内部工作原理往往是不透明的，这使得很难理解模型为何做出特定预测）

三、大模型幻觉评估

评估大模型的幻觉程度可以通过以下方法

1、人工评审：通过专家对模型生成的内容进行审查，评估其准确性和一致性。

2、准确性测试：使用标准化测试集，对模型的回答与事实进行比对，检查其正确性。

3、用户反馈：收集用户对模型生成内容的反馈，尤其是错误报告，分析其常见问题。

4、自动化检测：应用自动化工具和算法检测生成内容中的不一致性或与事实的偏差。

5、对比基准：与已知的高质量模型进行对比，评估其生成内容的质量差异。（有些方法和内容可以参考论文：A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions）。