探索AI大模型（LLM）减少幻觉的三种策略

大型语言模型（LLM）在生成文本方面具有令人瞩目的能力，但在面对陌生概念和查询时，它们有时会输出看似合理却实际错误的信息，这种现象被称为“幻觉”。近期的研究发现，通过策略性微调和情境学习、检索增强等方法，可以显著降低这种幻觉现象的发生。

当LLM遭遇不熟悉的查询时，它们可能会产生幻觉，即那些听起来头头是道却与事实不符的回答。这主要是因为在训练数据中缺少相关背景信息时，LLM仍会尝试根据其在训练过程中学到的规律生成通顺的答案。麻省理工学院的研究人员在其首篇论文中指出，当LLM被问到其预训练语料库中鲜有涉及的概念时，幻觉现象尤为明显。例如，如果要求模型撰写一个不太出名人物的传记，由于缺乏足够的数据支持，模型可能会编造出不实的内容。

为了应对这一挑战，研究者们提出了一些策略，来降低LLM幻觉的可能性。

1. 策略性微调（Strategic Fine-Tuning），使用包含“I don’t know”标记的响应的数据集来训练模型，特别是在面对不熟悉的查询时。这种训练方法帮助模型学会在不确定时表达不确定性，而不是捏造信息。

2. 多样本上下文学习（Many-Shot In-Context Learning），是一种通过在大上下文窗口中提供大量示例来增强模型适应性和准确性的方法。

3. 检索增强生成（Retrieval-Augmented Generation, RAG），通过整合外部知识源来减少幻觉现象的方法，确保生成的响应基于从可信来源检索到的事实信息。

通过这些方法，LLM在处理不熟悉查询时的准确性和可靠性得到了显著提升。

策略性微调（Strategic Fine-Tuning）

策略性微调是针对大型语言模型（LLM）的一种先进训练方法，目的在于降低模型在处理不熟悉查询时产生错误响应的倾向。这种方法的核心在于教会模型在知识边界之外时表达不确定性，而不是编造信息。

1. 数据集的选择与准备：选择或创建包含熟悉和不熟悉查询的数据集，并为后者标注“I don’t know”。

2. 微调过程：使用这个标注过的数据集对模型进行微调，使其学习在面对不熟悉的查询时如何表达不确定性。

3. 强化学习（RL）的应用：结合强化学习来鼓励模型在不确定时给出不确定的响应，而不是错误的响应。通过设计奖励函数，使得模型在给出不确定响应时获得正向反馈。

首先需要构建或选择一个包含广泛查询的数据集，并对那些可能导致模型产生幻觉的查询进行明确标注。随后，在该数据集上对模型进行微调，强化其在遇到这些特定查询时识别自身知识的局限。此外，通过结合强化学习技术，模型被激励在不确定时提供不确定的响应，而不是错误的信息。这涉及到设计合适的奖励机制，以正向反馈鼓励模型的适当行为。

效果体现在显著降低模型幻觉的同时，提升了其在面对边缘情况或少见查询时的可靠性。它的优势在于增强了模型的适应性，使其在缺乏足够信息的情况下，能够更加合理地处理查询，而不是盲目生成可能误导用户的响应。

挑战和限制，高质量的标注数据集是成功实施微调的关键，这可能需要大量的人工工作和专业知识。强化学习技术的集成可能会增加计算资源的需求。还有，确保模型在微调后具有良好的泛化能力，能够处理未见过的数据，是另一个重要的考量点。

策略性微调通过精心设计的训练过程和强化学习的应用，有效地提升了大型语言模型在处理不熟悉查询时的表现。这种方法不仅减少了模型产生错误信息的风险，还增强了用户对模型输出的信任度，从而在实际应用中发挥了重要作用。随着人工智能技术的不断进步，策略性微调将继续作为提高语言模型可靠性的重要手段。

多样本上下文学习（Many-Shot In-Context Learning）

这种方法的核心思想是利用大量的、多样化的示例来减少模型在面对不常见或新颖情况时产生幻觉的可能性。模型不是孤立地处理每一个查询，而是通过在上下文中提供大量示例来学习特定任务。这种方法使得模型能够从一系列相关的交互中学习，从而更好地捕捉语言和任务的细微差别。通过这种方式，模型能够接触到更广泛的语言使用场景，包括边缘情况和复杂查询，这有助于提高其泛化能力。

与传统的少量样本学习（few-shot learning）相比，多样本上下文学习通过增加上下文信息的数量，显著提高了模型对复杂任务的理解和适应能力。从提供非常少（1-5）个示例的少样本上下文学习（few-shot learning）到提供很多（100-1000）个示例的多样本上下文学习（Many-Shot In-Context Learning），性能会有很大的飞跃 - 任务越难，提示中更多的示例所带来的好处就越多。

实施多样本上下文学习的第一步是准备一个包含丰富示例的数据集。这些示例应该涵盖各种情况，包括边缘案例和复杂查询，以便模型能够学习到任务的多样性和复杂性。数据集的质量和多样性对模型性能有直接影响。

这种策略可以提高大型语言模型对新任务和不熟悉查询的适应性。通过在训练过程中提供丰富的上下文信息，这种方法有助于减少模型的幻觉现象，提高其在各种语言使用场景下的表现。Google Deepmind的论文提到另一个有意思的发现，提示中示例的顺序也会影响多样本性能，DSPy 等优化系统如何帮助解决这个问题。DSPy是斯坦福大学出的一个开源项目，用于优化大模型Prompt和权重，后面再研究一下这个框架。

检索增强生成（Retrieval-Augmented Generation, RAG）

检索增强生成是一种通过整合外部知识源来减少幻觉现象的方法。这种方法确保生成的响应基于从可信来源检索到的事实信息。RAG的关键步骤包括初始响应生成、多语言一致性检查和检索增强。通过这种方式，模型可以利用外部知识数据库来补充其内部知识，从而提高响应的准确性。

检索增强生成的机制

• 初始响应生成：模型根据其内部知识生成初始响应，通常采用链式思考（Chain-of-Thought）方法来详细说明响应背后的推理过程。

• 多语言一致性检查：多语言检测系统评估初始响应在不同语言中的一致性。如果检测到不一致，系统将响应标记为可能的幻觉。

• 检索增强：对于被标记为不一致的响应，检索机制从外部数据库获取相关信息，并将增强的信息整合到最终响应中，确保输出在事实上是准确的，并且得到了外部知识的充分支持。

检索增强生成（RAG）架构在减少幻觉方面取得了显著的效果，这个已经是一个共识。

三种策略对比

1.熟悉度

FT：最适合查询非常熟悉且与训练数据相似的情况。它在模型需要根据众所周知的信息产生高度准确的响应的场景中表现出色。

ICL：非常适合中等熟悉度到不熟悉的查询。此方法在查询差异很大的场景中表现出色，包括极端情况和不太常见的示例，为模型提供了广泛的上下文供其学习。

RAG：最适合处理不熟悉的查询，其中模型可以通过访问外部信息受益匪浅，以确保响应的准确性。

2.任务的复杂性

• FT：适用于定义明确且可在训练数据集内全面覆盖的低到中等复杂度任务。

• ICL：适用于中高复杂度的任务。这种方法通过在大型上下文窗口内提供大量示例，使模型能够处理更细微、更复杂的查询，从而增强模型的适应和泛化能力。

• RAG：最适合需要大量最新信息的高复杂性、开放式任务。它利用广泛的外部知识来处理复杂的查询。

3.资源可用性

• FT：需要大量资源，包括大量标记数据集和训练计算能力。适用于拥有大量数据和计算能力的组织。

• ICL：对资源要求适中。需要样本，但不像微调那样广泛。适用于资源可用但资源不那么丰富的场景。它可以有效利用现有示例来增强模型性能。

• RAG：对标记数据的要求相对较低，但需要访问强大而全面的外部数据库。适用于标记数据稀缺但可以访问知识库的情况。

  4.期望响应精度

• FT：确保在训练数据范围内响应的准确性较高。非常适合精度至关重要且查询在已知域内的应用。

• ICL：能够提供较高的准确率，通过利用大量示例，在处理多样化和不熟悉的查询时，其表现通常优于 FT。该方法在准确性和适应性之间取得平衡，使其适用于动态环境。

• RAG：通过使用外部知识验证响应来提供高精度。最适合事实正确性至关重要的场景，尤其是在处理新颖或鲜为人知的信息时。

  5.时间限制

• FT：由于数据准备和训练需要时间，因此最适合长期项目。不适合快速部署需求。

• ICL：适用于中期项目。比微调更快，但仍需要时间来收集和整合相关示例。它提供了一种比 FT 更快的替代方案，并且具有提高各种查询性能的优势。

• RAG：最适合短期需求。通过动态检索相关信息提供实时增强，使其成为快速部署和即时响应场景的理想选择。

总结
这三种方法的结合，显著提升了LLM在处理不熟悉查询时的准确性和可靠性，减少了幻觉现象，增强了模型的整体性能和用户信任度。随着人工智能技术的不断进步，这些策略有望进一步发展和完善，为提高语言模型的可靠性提供关键支持。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】