最近和大模型一起爆火的,还有大模型的微调方法。
这类方法只用很少的数据,就能让大模型在原本表现没那么好的下游任务中“脱颖而出”,成为这个任务的专家。
而其中最火的大模型微调方法,又要属LoRA。
但包括LoRA在内,这类方法的核心原理究竟是什么?它和大模型之间的关系又是什么?我们具体来看。
一、前言
先从最近大火的LoRA (《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGEMODELS》)说起。
该文章在ICLR2022中提出,说的是利用低秩适配(low-rankadaptation)的方法,可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。
LoRA是怎么去微调适配下游任务的?
流程很简单,LoRA利用对应下游任务的数据,只通过训练新加部分参数来适配下游任务。
而当训练好新的参数后,利用重参的方式,将新参数和老的模型参数合并,这样既能在新任务上到达fine-tune整个模型的效果,又不会在推断的时候增加推断的耗时。
LoRA的示意图如下:
图中蓝色部分为预训练好的模型参数,LoRA在预训练好的模型结构旁边加入了A和B两个结构,这两个结构的参数分别初始化为高斯分布和0,那么在训练刚开始时附加的参数就是0。
A的输入维度和B的输出维度分别与原始模型的输入输出维度相同,而A的输出维度和B的输入维度是一个远小于原始模型输入输出维度的值,这也就是low-rank的体现(有点类似Resnet的结构),这样做就可以极大地减少待训练的参数了。
在训练时只更新A、B的参数,预训练好的模型参数是固定不变的。在推断时可以利用重参数(reparametrization)思想,将AB与W合并,这样就不会在推断时引入额外的计算了。
而且对于不同的下游任务,只需要在预训练模型基础上重新训练AB就可以了,这样也能加快大模型的训练节奏。
由于本文不具体介绍LoRA,所以详细信息可以查看LoRA原文。我们只需要知道LoRA文章后续的实验已经论证该方法的有效性。
那么进一步思考,为什么LoRA的这种思路能work得不错呢?
😝有需要的小伙伴,可以V扫描下方二维码免费领取🆓
![](https://img-blog.csdnimg.cn/img_convert/2411f272b6bf67ed5b0703575b060130.png)
答案就是接下来要讲的本征维度 (Intrinsic dimension)了。
这点LoRA原文也提到过,该文章灵感来源于下面两篇文章:
1、MEASURING THE INTRINSIC DIMENSION OF OBJECTIVE LANDSCAPES,发表在ICLR2018,为了方便接下来该论文称为【论文1】
2、INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGEMODEL FINE-TUNING,发表在ACL2021,为了方便接下来该论文称为【论文2】
二、本征维度是什么?
本征维度的概念在【论文1】中提出。
训练一个神经网络往往包含如下几步:
**1、**对于一个给定的数据集,先设计网络的结构和选择对应的loss **2、**对网络中的参数进行随机的初始化 **3、**训练网络使得loss越来越低
而训练阶段可以认为是在一个固定的目标图(objective landscape)上,寻找出有效的路径。
这里解释一下为什么是固定的目标图。因为在数据集和网络结构固定下来后,待优化的问题就已经定义好了,所以目标图也就是确定的了。
如下图所示:
那么对于一个参数量为D的模型
,我们训练该模型,也就意味着在D维空间上寻找有效的解。文章认为D可能是冗余的,可能实际上只需要优化其中的d个参数就可以找到一个有效的解。
用公式表示如下:
其中
表示D维的优化参数,
表示随机初始化的一个参数并且在训练时是不进行更新的,P是一个随机初始化的D×d大小的矩阵且训练时也不进行更新,
表示待优化的d维参数。
也就是说可以在训练网络时只更新d维参数,就可以达到该网络应有的效果。那么这个d就是所谓的该模型的本征维度。
这里讲完可能还有点晕,我们看一下如下这张图:
上图中,蓝色部分为初始化好的网络参数
,绿色为
,红色为
。网络训练的时候只训练红色部分,其它参数都是固定的。d就是本征维度。
上面讲的只更新d维参数,让网络达到应有的效果,那么什么应有的效果呢?文章定义,在只更新d维参数的情况下,网络效果达到训练原始模型时效果的90%时,那么就认为达到了“应有的效果”,并且d就为本征维度。
例如在做mnist这个数字分类任务时,如果原始模型精度能到0.9,那么在只更新d维参数的时候,精度能够达到90%×0.9=0.81,就认为这时候的d为本征维度记为
。
三、使用本征维度思考大模型微调的有效性
【论文2】将之前提出的本征维度用来思考大模型微调的有效性,为什么现在用几百或者几千张图片就可以对大模型进行有效的微调?
根据【论文1】阐述,对于某一类问题,在一定精度上(比如达到90%的精度)有本征特征的存在。对于大模型而言,进行本征维度的测试就能知道在解决某一类下游问题时,需要调整多少参数就能近似的解决当前的问题。
如果真的有实验能证明仅仅调整少数的参数就能很好的解决下游问题,那么也就能回答上述问题,即对大模型做少量的微调(调整少量的参数),就能解决当前的问题。
下面无特殊说明的话,“文章”指的都是【论文2】
3.1 对于大模型而言,是否存在本征维度?
同【论文1】一样,【论文2】也利用公式
来进行模型的训练,即训练时只调整d维参数
。但与【论文1】的实验有点不同的是,【论文1】中
是随机初始化的,而【论文2】中
是预训练好的参数。
【论文2】首先选择BERT-Base\BERT-Large\RoBERTa-Base\RoBERTa-Large四个模型,并选择GLUE benchmark中的MRPC和QQP两个数据集(两个数据集都是用来测试句子对是否相同意义的任务)。
上下两个子图分别表示MRPC和QQP两个任务,每个子图有四条实线表示四个模型的准确率,四条虚线表示达到fine-tune整个模型90%的准确率的值,横坐标表示训练d维的大小。从图中可以看出两个任务,四个不同的模型,只需要训练较小的d维参数就可以达到90%的精度。本征维度这个概念在大模型中是成立的。
所以在训练某个下游任务时,只需要训练少量参数就能达到不错的效果了。这时文章开头的问题就已经解决了。但是作者做了一些其他的实验,发现了一些有意思的结论。
3.2 预训练的好坏与本征维度的关系
文章提出这样一个假设,预训练模型能够隐式地降低模型在NLP各个任务的本征维度。
基于这个猜想,文章做了下面实验,在预训练RoBERTa-base模型的时候,每隔10K保存下对应的预训练模型,然后测试保存下来的预训练模型在MRPC、QQP、Yelp Polarity、SST-2、MNLI、ANLI六个数据集本征维度。
结果如下:
可以看出,在不同数据集上有相同的趋势,就是预训练次数越多,模型在各个任务上的本征维度越低。实验并没有特意去优化所谓的本征维度,只是预训练久一点而已。所以印证了预训练模型的表征能力越强(训练得越好),本征维度越小。
3.3 预训练模型参数与本征维度的关系
本来在做预训练参数与本征维度关系的时候,需要统一模型的结构,这样更有说服力。但是作者说,这样要训练很多大模型的实验,为了更方便的对比文章根据已有的结构来做实验。从实验结果的趋势来看,不同结构也能得到有效的结论。
文章利用已有的预训练模型,在MRPC数据集上计算本征维度。
实验结果如下:
上图中纵坐标表示本征维度的值,横坐标表示模型的参数量。从图中的趋势可以明显看出,模型越大本征维度越小,即越强的模型本征维度越低。
3.4 本征维度与泛化能力的关系
上面介绍了fine-tune(3.1)、预训练(3.2)和本征维度的关系,但本征维度与泛化能力的关系还没有验证。即我们现在知道了让本征维度小的方式,但是本征维度小了,泛化能力就能上去吗?
文章又做了下面的实验,把3.2保存下来的模型,在对应的
的本征维度上,进行不同数据集的测试,结果如下:
可以看出本征维度低的模型,训练出来的模型准确率是更高的。也就是说本征维度越低,泛化性能越好。
回到引言的问题:为什么LoRA思路能work?
因为大模型存在本征维度的概念,只需要调整少量参数就能在下游任务上得到很好的效果。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/aa130de15b01b9da41a90552ddd2a371.png)
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/aa130de15b01b9da41a90552ddd2a371.png)