【摘要】微调虽然在调整模型的语气和风格方面表现出色,但在向模型添加大量新知识时,其效果就显得乏力了。“检索增强生成”(Retrieval Augmented Generation,RAG)技术恰好能够解决这一难题。
在LLM(大型语言模型)新时代的到来之前,我们通常会通过简单的微调来使用新数据扩展模型的能力。然而,如今我们使用的模型规模越来越大,训练所使用的数据量也随之增加,仅仅依赖微调已经无法满足大部分场景的需求。微调虽然在调整模型的语气和风格方面表现出色,但在向模型添加大量新知识时,其效果就显得乏力了。
以OpenAI 的 GPT-3.5-turbo(ChatGPT)模型为例。如果我们输入"你能告诉我关于寒冷天气的帐篷吗"这样的问题,完成式模型可能会通过扩展提示回复:"以及任何其他寒冷天气的露营设备?"而聊天式模型则会给出一个更加人性化的回答:"当然!它们旨在承受低温、大风和雪......"在这种情况下,OpenAI 的重点不在于更新模型可以访问的知识库,而是改变了模型与用户交互的方式。对于这种调整模型风格和语气的任务,微调确实展现出了卓越的效果。
然而,对于向大型模型添加新知识这一更加常见的业务需求,微调的效果就显得乏善可陈了。此外,对LLM 进行微调需要大量高质量的数据、可观的计算资源预算,以及漫长的训练时间等,