什么是大模型幻觉？它是如何产生的？怎么优化？

最新推荐文章于 2025-04-27 17:16:44 发布

AGI-杠哥

最新推荐文章于 2025-04-27 17:16:44 发布

阅读量2.1k

点赞数 12

分类专栏：程序人生兼职副业安全文章标签：人工智能深度学习

本文链接：https://blog.csdn.net/m0_71745484/article/details/144379721

版权

程序人生同时被 3 个专栏收录

1409 篇文章

订阅专栏

兼职副业

613 篇文章

订阅专栏

安全

135 篇文章

订阅专栏

一、什么是大模型幻觉
相信大家在使用ChatGPT或者其他大模型时会遇到这样的情况，模型答非所问甚至自相矛盾。这种现象我们称为“幻觉”

"幻觉"指的是模型生成的信息或回答不准确或虚假的现象。比如，模型可能在回答问题时编造不真实的细节，或者对事实产生错误的解释。在准确率要求非常高的场景下幻觉是不可接受的，比如新闻领域、医疗领域、金融领域等。

以下为几个典型的大模型幻觉案例：

1、阅读理解任务中的幻觉：大模型在回答问题时，可能会产生与原文无关的答案，甚至编造事实。

2、图像识别任务中的幻觉：大模型在识别图像时，可能会将无关的物体识别为目标物体，导致错误判断。

3、生成文本任务中的幻觉：大模型在生成文本时，可能会产生语法错误、逻辑混乱的现象。

二、大模型幻觉产生的原因
大模型幻觉的形成源于多个方面，大模型产生幻觉的根本原因，主要分为三个关键方面：数据、训练和推理。

1、来源于数据偏差

大模型的知识和能力主要来自于预训练数据，如果预训练数据使用了不完整、存在系统性误差或者过期的数据，那么就很可能导致知识的错误，从而引起幻觉现象。比如：

训练集中某个类别的样本过多，模型可能会过度偏向于预测这个类别，即使在遇到属于其他类别的数据时也是如此。

训练数据的不充分性：训练数据可能无法覆盖所有可能的情况，特别是在一些具有高度多样性的领域，其后果就是当模型遇到训练数据中未出现的情况时，可能会做出错误的预测，因为它没有学习到如何处理这些情况。

2、来源于训练

预训练阶段：大模型在这一阶段学习通用表征并捕捉广泛的知识，通常采用基于transformer的架构，在庞大的语料库中进行因果语言建模。但是，固有的架构设计和研究人员所采用的特定训练策略，可能会产生与幻觉相关的问题。比如：过拟合使得模型在训练数据上学习得太过精确，以至于它不仅学习了数据的真实分布，还学习了数据中的随机噪声和特异性特征。

3、来源于生成/推理

经过预训练后，解码在体现大模型能力方面发挥着重要作用。然而，解码策略的某些缺陷可能导致大模型出现幻觉。关键原因是解码策略固有的随机性、缺乏透明度和可解释性（深度学习模型其内部工作原理往往是不透明的，这使得很难理解模型为何做出特定预测）

三、大模型幻觉评估
评估大模型的幻觉程度可以通过以下方法

1、人工评审：通过专家对模型生成的内容进行审查，评估其准确性和一致性。

2、准确性测试：使用标准化测试集，对模型的回答与事实进行比对，检查其正确性。

3、用户反馈：收集用户对模型生成内容的反馈，尤其是错误报告，分析其常见问题。

4、自动化检测：应用自动化工具和算法检测生成内容中的不一致性或与事实的偏差。

5、对比基准：与已知的高质量模型进行对比，评估其生成内容的质量差异。（有些方法和内容可以参考论文：A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions）。

四、减少大模型幻觉产生的策略
减少大模型幻觉的产生可以通过以下几个策略：

1、提高数据质量：确保训练数据的准确性和全面性，去除数据中的错误、偏见和噪声。这包括清理数据、增加验证步骤以及使用高质量的标注数据。

2、模型校准：在模型生成后，应用后处理和校准技术来提高生成内容的准确性。可以使用可信度评估机制来判断生成的内容是否可靠。

3、增强上下文理解：改进模型对上下文的理解能力。例如，使用更复杂的上下文建模技术和推理机制，以便模型更好地处理长文本和复杂语境。

4、多模态融合：结合不同的数据源，如图像、声音和文本，来提高生成内容的准确性和全面性。

5、用户反馈机制：建立一个用户反馈系统，让用户报告生成的错误信息。模型可以利用这些反馈进行改进，减少未来的幻觉现象。

6、增加知识库和常识性知识：通过将模型与知识库和常识性知识结合，使其能更准确地回答基于事实的问题。

7、定期审查和更新：定期审查和更新模型及其训练数据，以保持其对新信息和变化的准确性。