学习记录（10）：减少LLM的幻觉

依旧照例先感谢前辈们的慷慨分享
今天学习的是这篇文章↓
原文：转自公主号“Bear实验室”
—《探索AI大模型（LLM）减少幻觉的三种策略》

---

大模型幻觉是指大型语言模型在生成内容时出现与现实世界事实或用户输入不一致的现象，通常表现为胡说八道或捏造事实。

麻省理工学院的研究人员在其首篇论文中指出，当LLM被问到其预训练语料库中鲜有涉及的概念时，幻觉现象尤为明显。

---

为了应对这一挑战，研究者们提出了一些策略，来降低LLM幻觉的可能性。

一、策略性微调（Strategic Fine-Tuning）

使用包含“I don’t know”标记的响应的数据集来训练模型，特别是在面对不熟悉的查询时。这种训练方法帮助模型学会在不确定时表达不确定性，而不是捏造信息。

这种方法的核心在于教会模型在知识边界之外时表达不确定性，而不是编造信息。

数据集的选择与准备：选择或创建包含熟悉和不熟悉查询的数据集，并为后者标注“I don’t know”。

强化学习（RL）的应用：结合强化学习来鼓励模型在不确定时给出不确定的响应，而不是错误的响应。通过设计奖励函数，使得模型在给出不确定响应时获得正向反馈。

首先需要构建或选择一个包含广泛查询的数据集，并对那些可能导致模型产生幻觉的查询进行明确标注。随后，在该数据集上对模型进行微调，强化其在遇到这些特定查询时识别自身知识的局限。此外，通过结合强化学习技术，模型被激励在不确定时提供不确定的响应，而不是错误的信息。这涉及到设计合适的奖励机制，以正向反馈鼓励模型的适当行为。

挑战和限制：高质量的标注数据集是成功实施微调的关键，这可能需要大量的人工工作和专业知识。强化学习技术的集成可能会增加计算资源的需求。还有，确保模型在微调后具有良好的泛化能力，能够处理未见过的数据，是另一个重要的考量点。

二、多样本上下文学习（Many-Shot In-Context Learning）

是一种通过在大上下文窗口中提供大量示例来增强模型适应性和准确性的方法。

这种方法的核心思想是利用大量的、多样化的示例来减少模型在面对不常见或新颖情况时产生幻觉的可能性。

与传统的少量样本学习（few-shot learning）相比，多样本上下文学习通过增加上下文信息的数量，显著提高了模型对复杂任务的理解和适应能力。从提供非常少（1-5）个示例的少样本上下文学习（few-shot learning）到提供很多（100-1000）个示例的多样本上下文学习（Many-Shot In-Context Learning），性能会有很大的飞跃 - 任务越难，提示中更多的示例所带来的好处就越多。

这些示例应该涵盖各种情况，包括边缘案例和复杂查询，以便模型能够学习到任务的多样性和复杂性。数据集的质量和多样性对模型性能有直接影响。

Google Deepmind的论文提到另一个有意思的发现，提示中示例的顺序也会影响多样本性能，DSPy 等优化系统如何帮助解决这个问题。DSPy是斯坦福大学出的一个开源项目，用于优化大模型Prompt和权重，后面再研究一下这个框架。

《DSPy：优化Prompt和权重》

二、检索增强生成（Retrieval-Augmented Generation, RAG）

通过整合外部知识源来减少幻觉现象的方法，确保生成的响应基于从可信来源检索到的事实信息。

三、三种策略对比

1.熟悉度
FT：最适合查询非常熟悉且与训练数据相似的情况。它在模型需要根据众所周知的信息产生高度准确的响应的场景中表现出色。
ICL：非常适合中等熟悉度到不熟悉的查询。此方法在查询差异很大的场景中表现出色，包括极端情况和不太常见的示例，为模型提供了广泛的上下文供其学习。
RAG：最适合处理不熟悉的查询，其中模型可以通过访问外部信息受益匪浅，以确保响应的准确性。

2.任务的复杂性
FT：适用于定义明确且可在训练数据集内全面覆盖的低到中等复杂度任务。
ICL：适用于中高复杂度的任务。这种方法通过在大型上下文窗口内提供大量示例，使模型能够处理更细微、更复杂的查询，从而增强模型的适应和泛化能力。
RAG：最适合需要大量最新信息的高复杂性、开放式任务。它利用广泛的外部知识来处理复杂的查询。

3.资源可用性
FT：需要大量资源，包括大量标记数据集和训练计算能力。适用于拥有大量数据和计算能力的组织。
ICL：对资源要求适中。需要样本，但不像微调那样广泛。适用于资源可用但资源不那么丰富的场景。它可以有效利用现有示例来增强模型性能。
RAG：对标记数据的要求相对较低，但需要访问强大而全面的外部数据库。适用于标记数据稀缺但可以访问知识库的情况。

4.期望响应精度
FT：确保在训练数据范围内响应的准确性较高。非常适合精度至关重要且查询在已知域内的应用。
ICL：能够提供较高的准确率，通过利用大量示例，在处理多样化和不熟悉的查询时，其表现通常优于 FT。该方法在准确性和适应性之间取得平衡，使其适用于动态环境。
RAG：通过使用外部知识验证响应来提供高精度。最适合事实正确性至关重要的场景，尤其是在处理新颖或鲜为人知的信息时。

5.时间限制
FT：由于数据准备和训练需要时间，因此最适合长期项目。不适合快速部署需求。
ICL：适用于中期项目。比微调更快，但仍需要时间来收集和整合相关示例。它提供了一种比 FT 更快的替代方案，并且具有提高各种查询性能的优势。
RAG：最适合短期需求。通过动态检索相关信息提供实时增强，使其成为快速部署和即时响应场景的理想选择。

总结
这三种方法的结合，显著提升了LLM在处理不熟悉查询时的准确性和可靠性，减少了幻觉现象，增强了模型的整体性能和用户信任度。随着人工智能技术的不断进步，这些策略有望进一步发展和完善，为提高语言模型的可靠性提供关键支持。