本文是LLM系列文章,针对《A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models》的翻译。
摘要
随着大型语言模型(LLM)在编写类似人类文本的能力方面不断进步,一个关键的挑战仍然围绕着它们的“幻觉”倾向——生成看似真实但毫无根据的内容。幻觉问题可以说是将这些强大的LLM安全部署到影响人们生活的现实世界生产系统中的最大障碍。在实际环境中广泛采用LLM的过程在很大程度上依赖于解决和减轻幻觉。与专注于有限任务的传统人工智能系统不同,LLM在训练过程中接触到了大量的在线文本数据。虽然这使他们能够表现出令人印象深刻的语言流利性,但这也意味着他们能够从训练数据中的偏见中推断信息,误解模棱两可的提示,或修改信息以表面上与输入保持一致。当我们依赖敏感应用程序的语言生成功能时,这就变得非常令人担忧,例如总结医疗记录、客户支持对话、财务分析报告和提供错误的法律建议。小错误可能会造成伤害,这表明LLM在自我学习方面取得了进步,但缺乏实际理解能力。本文对32种用于缓解LLM幻觉的技术进行了全面调查。其中值得注意的是检索增强生成(RAG)、知识检索、CoNLI和CoVe。此外,我们还介绍了一个详细的分类法,根据各种参数对这些方法进行分类,如数据集利用率、常见任务、反馈机制和检索器类型。这种分类有助于区分专门用于解决LLM中幻觉问题的各种方法