RAG、微调

RAG和微调的区别

RAG：没有改变大模型，在大模型原有的基础上加入了一些知识，用来回答用户的问题。

微调：原有大模型的基础上加上新的知识改造大模型，是一个新的模型。

场景：

1.动态数据：经常变化的数据， 一些业务数据经常变化，适用于RAG，因为微调的成本太高。

2.模型能力的定制：微调

3.幻觉：降低模型的幻觉，RAG对模型的效果大于微调

4.可解释性：RAG优于为微调，微调类似一种于端到端的，黑盒，不可解释性

5.成本：在成本方面，RAG也是首选，因为不需要训练模型，只需要像搭建一个工程一样把RAG搭建起来。

6.依赖通用能力：RAG也是首选，微调会导致原有模型的一些能力减低，模型的遗忘

7.低延迟的场景：微调，RAG流程多。

8.智能设备：选择使用小模型，小模型需要的通用能力没那么强，亦或者需要某些方面的能力，使用微调。

向量数据库的参考

2024年精选推荐的16个向量数据库：提升你的AI应用性能-腾讯云开发者社区-腾讯云 (tencent.com)

参考资料：1.大模型项目选择RAG还是微调的八个判断依据

2.大语言模型的检索增强生成 (RAG) 方法 | Prompt Engineering Guide

3.2024年精选推荐的16个向量数据库：提升你的AI应用性能-腾讯云开发者社区-腾讯云 (tencent.com)