大模型知识检索RAG业务实践实践(技术详解篇)

大模型知识检索RAG业务实践实践(技术详解篇)

智能助手作为智能对话机器人，承接着线上用户的实时 query，覆盖行情、事件、客服、投教、闲聊、荐股荐基等多种意图，能够快速地做出专业且准确地回答。但是，回答的承接性和准确性一直面临着挑战。近些年，随着深度学习的发展，大语言模型（如 chatgpt）展示了前所未有的能力，可以准确地理解人类语言并给出更人性化的回复，这给智能助手带来极大启示。据此，我们使用大模型能力升级智能助手，以更好地服务用户。但是大语言模型的幻觉问题较为突出，模型可能给出非事实回答，甚至引发安全与合规问题，进而限制了它的应用。由此，检索增强生成技术（RAG）应运而生，它通过检索信息以增强生成的结果，进而缓解生成的幻觉问题。本文针对 RAG 中生成模型训练技术相关的挑战和解决方案进行总结。

1.挑战&方案

• 主要挑战

相比于通用模型，RAG 中的生成模型需要具备更好的数据抽取能力和总结能力。受供给和检索链路的综合影响，检索结果在大部分情况下无法直接回答用户问题，有些时候答案隐藏在多种供给中；而有些时候需要对供给做进一步的提取和整理，如问题为 “美联储加息的影响”，检索结果仅为“美联储加息” 事件、“加息对市场的影响”泛知识等。模型不