一文读懂RAG（检索增强生成）【大模型行业应用入门系列】

【摘要】微调虽然在调整模型的语气和风格方面表现出色，但在向模型添加大量新知识时，其效果就显得乏力了。“检索增强生成”(Retrieval Augmented Generation，RAG)技术恰好能够解决这一难题。

在LLM（大型语言模型)新时代的到来之前，我们通常会通过简单的微调来使用新数据扩展模型的能力。然而，如今我们使用的模型规模越来越大，训练所使用的数据量也随之增加，仅仅依赖微调已经无法满足大部分场景的需求。微调虽然在调整模型的语气和风格方面表现出色，但在向模型添加大量新知识时，其效果就显得乏力了。

以OpenAI 的 GPT-3.5-turbo(ChatGPT)模型为例。如果我们输入"你能告诉我关于寒冷天气的帐篷吗"这样的问题，完成式模型可能会通过扩展提示回复:"以及任何其他寒冷天气的露营设备?"而聊天式模型则会给出一个更加人性化的回答："当然！它们旨在承受低温、大风和雪......"在这种情况下，OpenAI 的重点不在于更新模型可以访问的知识库，而是改变了模型与用户交互的方式。对于这种调整模型风格和语气的任务，微调确实展现出了卓越的效果。

然而，对于向大型模型添加新知识这一更加常见的业务需求，微调的效果就显得乏善可陈了。此外，对LLM 进行微调需要大量高质量的数据、可观的计算资源预算，以及漫长的训练时间等，