深度分析RAG VS 微调如何选择

随着人工智能技术的飞速发展,越来越多的企业和个人开始关注如何利用AI技术提升业务效率。在众多AI模型中,RAG(Retrieval-Augmented Generation)和微调(Fine-tuning)成为了两种备受关注的模型优化方法。本文通过场景及案例分析这两种方法,帮助你更好地选择适合自己需求的AI模型。

首先我们要弄清楚RAG和微调到底有什么区别呢?首先看RAG,实际上它并没有去改变我们所使用的大模型,而是在大模型的基础上加了外部的一些额外的知识,然后用这个模块去回答用户的问题;但相反微调呢,那它基于一个给定的大模型,再结合知识来去改造大模型,所以这个大模型是新的大模型,也是被我们微调过的,然后基于这个大模型来回答用户的问题,所以这是两个完全不一样的套路。所以简单理解的话,那RAG里面大模型是没有被训练的,但是在微调里面我们是有训练大模型的。

那基于它俩的区别,我们接下来讨论一下这个场景,然后来判断到底哪个场景适合用RAG还是微调。

1、动态数据,那这里的动态数据,我们指的是经常会变化的数据,比如说像企业里的一些业务数据为了能够满足这个场景,那实际上最适合的明显是RAG,如果我们使用微调的话,每次数据的改变我们都需要重新去微调我们的模型,这显然是不太划算的。那如果使用RAG的话,我们其实不太需要关注它的数据的改动有多频,我们只需要在需要的时候把数据检索出来就可以。

2、模型能力的定制,比如我们在开发的时候,希望模型具备一定特殊的能力,比如说他以特殊的口吻去跟用户去交流,这种能力可能是基座模型它没有具备的,那显然这个时候适合的就是微调,比如我们模型需要去阅读一些金融的研报,或者抽取一些内容,或者他以某种口吻去进行销售。

3、模型幻觉,RAG和微调对幻觉都是有帮助的,它可以降低我们模型的幻觉,那从一个效果的角度来讲,RAG它对幻觉的价值要大于微调。

4、可解释性,因为有些时候我们希望模型具备一定的可解释性,它告诉我们为什么。从这个角度来讲,RAG肯定是要优于微调的,因为微调很多时候它就是个黑盒子,我们不太清楚它到底内部是怎么工作的,而且出了问题我们也很难去追溯到为什么某一个单词生成了,所以这时候rag肯定是我们的首选

5、成本,成本的角度来讲,那很显然RAG也是我们的首选,因为在RAG里面我们不太需要去训练一个模型,我们只需要通过一个共同的方式把这套流程搭起来,但是微调的话,那我们需要收集数据,然后做进行微调,微调效果不好,我们还要接着去做迭代,所以它的成本是比较高的。

6、依赖通用能力,我们业务场景它需要依赖于一定的大模型的通用能力,包括它的对话能力,那这个时候很显然也是RAG是我们的首选,当我们去进行模型微调的时候,本质上我们对模型进行了改变,这种改变它不可避免的会导致原有模型能力的一些降低,我们也把它叫做模型的遗忘,

7、低延迟的场景,就是对延迟的要求比较高,那这个时候微调它是我们的首选,因为RAG本身包含了很多的流程,那这个流程里面,既包含像检索,还包含精排,所以这些都是比较耗时间的,所以如果我们的要求是非常的低延迟,那肯定是微调式首选。

8、智能设备的场景,那在智能设备的场景下,硬件本身它的资源是比较有限的,所以很多时候我们可能不得不去使用一些小模型,那小模型我们也知道它的通用能力是比较差的,而且我们在这样的场景下,我们更希望这个模型可以在某一个方面能力比较强,它不需要懂很多,所以这个情况下,那微调可能也是我们的首选。

当然在这些场景里面,我们也不排除把RAG和微调一起去使用,总体来讲,我们在判断要不要使用RAG或者微调的时候,可以考虑的几个参考的因素。

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

  • 8
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值