A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

本文是LLM系列文章，针对《A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models》的翻译。

摘要

随着大型语言模型（LLM）在编写类似人类文本的能力方面不断进步，一个关键的挑战仍然围绕着它们的“幻觉”倾向——生成看似真实但毫无根据的内容。幻觉问题可以说是将这些强大的LLM安全部署到影响人们生活的现实世界生产系统中的最大障碍。在实际环境中广泛采用LLM的过程在很大程度上依赖于解决和减轻幻觉。与专注于有限任务的传统人工智能系统不同，LLM在训练过程中接触到了大量的在线文本数据。虽然这使他们能够表现出令人印象深刻的语言流利性，但这也意味着他们能够从训练数据中的偏见中推断信息，误解模棱两可的提示，或修改信息以表面上与输入保持一致。当我们依赖敏感应用程序的语言生成功能时，这就变得非常令人担忧，例如总结医疗记录、客户支持对话、财务分析报告和提供错误的法律建议。小错误可能会造成伤害，这表明LLM在自我学习方面取得了进步，但缺乏实际理解能力。本文对32种用于缓解LLM幻觉的技术进行了全面调查。其中值得注意的是检索增强生成（RAG）、知识检索、CoNLI和CoVe。此外，我们还介绍了一个详细的分类法，根据各种参数对这些方法进行分类，如数据集利用率、常见任务、反馈机制和检索器类型。这种分类有助于区分专门用于解决LLM中幻觉问题的各种方法