大模型幻觉问题，该怎么解？

这两年大模型赛道特别热闹

从生文、生图、到生视频

不过大家在体验的时候经常会发现

大模型也会一本正经地胡说八道

甚至还会已读乱回

这就被称为大模型的幻觉问题

如果是在创意行业

大模型大开脑洞可能没多大问题

但是在讲究严谨和安全的

金融、医疗等行业

模型幻觉就会成为致命缺陷

最近，由中国科学技术大学、合肥综合性国家科学中心人工智能研究所和蚂蚁数科联合申报的论文《基于强化学习的检索增强大语言模型可信对齐》(Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning)入选了国际人工智能顶会ICML2024。

这篇论文就是致力于攻克大型语言模型“幻觉”问题的。

它不仅从理论上和实验上证明了大型语言模型可以通过这种方法对齐到可信状态，并还将对齐的应用场景从满足人类偏好扩展到创建可信的 Agent 等场合。

我们先来了解下造成大语言模型“幻觉”问题的主要原因：

1

数据偏差：

训练大语言模型LLM需要让模型学习大量文本，这些文本中可能会包含错误、偏见。

这就好比教材都出错了，学生没考好就不难理解了。

2

训练目标：

大多数LLM的训练目标是生成高度连贯和自然的语言，而不是确保每一条信息的准确性。

这意味着，模型有时会优先生成听起来合理而非事实的信息。

针对幻觉问题，行业里常见的做法是引入检索增强生成 (RAG)技术。

也就是让模型访问由人类提供的可靠知识库的内容（如维基百科、专用文档），去辅助生成回答。

**这样一来，大模型就像有了一本专业知识手册，**在生成答案时，会将检索到的内容和自身的知识参数相结合，这种从检索到生成的模式显著提高了LLM的真实性和可靠性。

但问题是，如果知识库的内容和模型自身的知识冲突了，模型该听谁的？

论文研究团队认为，只有当智能问答模型能够基于人类提供的可靠知识库而不是自身参数回答问题时，它才是可信赖的。

论文创新性地提出了将“强化学习”引入RAG的方案。

当知识冲突时，如果模型给出的答案依赖知识库，则获得奖励；而如果依赖自身的参数知识，则给予惩罚。

不需要人工标注训练，让模型在交互、试错、奖惩策略中自我成长，实现与准确答案的“对齐”。

实验结果表明，该方案比开源基础模型的准确率提升55%，与准确答案的对齐成本降低83%。不仅在生成文字的流畅度方面比传统方法提升30%，良好的性能将有利于语言模型在严谨行业的应用落地。

接下来，该研究成果将率先应用于蚂蚁数科的智能风控服务中。

以后，企业风控人员可以向Agent智能体提问目标企业或行业的经营状况、风险评级等。Agent自动调用API查询相关的数据指标，并通过可信对齐的大模型生成可靠答案，提供给企业的风控人员，帮助防范产业链上下游协作风险。

自大模型诞生以来，“可信对齐”成为重要课题，对于大模型落地严谨行业至关重要。我们相信在不久的未来，大模型将加速进化为各行各业的知识专家，为人类提供更多更可靠的服务。