极少数据就能微调大模型，一文详解LoRA等方法的运作原理

最近和大模型一起爆火的，还有大模型的微调方法。

这类方法只用很少的数据，就能让大模型在原本表现没那么好的下游任务中“脱颖而出”，成为这个任务的专家。

而其中最火的大模型微调方法，又要属LoRA。

但包括LoRA在内，这类方法的核心原理究竟是什么？它和大模型之间的关系又是什么？我们具体来看。

一、前言

先从最近大火的LoRA （《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGEMODELS》）说起。

该文章在ICLR2022中提出，说的是利用低秩适配（low-rankadaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

LoRA是怎么去微调适配下游任务的？

流程很简单，LoRA利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。

而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推断的时候增加推断的耗时。

LoRA的示意图如下：

图中蓝色部分为预训练好的模型参数，LoRA在预训练好的模型结构旁边加入了A和B两个结构，这两个结构的参数分别初始化为高斯分布和0，那么在训练刚开始时附加的参数就是0。

A的输入维度和B的输出维度分别与原始模型的输入输出维度相同，而A的输出维度和B的输入维度是一个远小于原始模型输入输出维度的值，这也就是low-rank的体现（有点类似Resnet的结构），这样做就可以极大地减少待训练的参数了。

在训练时只更新A、B的参数，预训练好的模型参数是固定不变的。在推断时可以利用重参数（reparametrization）思想，将AB与W合并，这样就不会在推断时引入额外的计算了。

而且对于不同的下游任务，只需要在预训练模型基础上重新训练AB就可以了，这样也能加快大模型的训练节奏。

由于本文不具体介绍LoRA，所以详细信息可以查看LoRA原文。我们只需要知道LoRA文章后续的实验已经论证该方法的有效性。

那么进一步思考，为什么LoRA的这种思路能work得不错呢？

答案就是接下来要讲的本征维度 （Intrinsic dimension）了。

这点LoRA原文也提到过，该文章灵感来源于下面两篇文章：

1、MEASURING THE INTRINSIC DIMENSION OF OBJECTIVE LANDSCAPES，发表在ICLR2018，为了方便接下来该论文称为【论文1】

2、INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGEMODEL FINE-TUNING，发表在ACL2021，为了方便接下来该论文称为【论文2】

二、本征维度是什么？

本征维度的概念在【论文1】中提出。

训练一个神经网络往往包含如下几步：

1、 对于一个给定的数据集，先设计网络的结构和选择对应的loss
2、 对网络中的参数进行随机的初始化
3、 训练网络使得loss越来越低

而训练阶段可以认为是在一个固定的目标图（objective landscape）上，寻找出有效的路径。

这里解释一下为什么是固定的目标图。因为在数据集和网络结构固定下来后，待优化的问题就已经定义好了，所以目标图也就是确定的了。

如下图所示：

这里讲完可能还有点晕，我们看一下如下这张图：

三、使用本征维度思考大模型微调的有效性

【论文2】将之前提出的本征维度用来思考大模型微调的有效性，为什么现在用几百或者几千张图片就可以对大模型进行有效的微调？

根据【论文1】阐述，对于某一类问题，在一定精度上（比如达到90%的精度）有本征特征的存在。对于大模型而言，进行本征维度的测试就能知道在解决某一类下游问题时，需要调整多少参数就能近似的解决当前的问题。

如果真的有实验能证明仅仅调整少数的参数就能很好的解决下游问题，那么也就能回答上述问题，即对大模型做少量的微调（调整少量的参数），就能解决当前的问题。

下面无特殊说明的话，“文章”指的都是【论文2】

3.1 对于大模型而言，是否存在本征维度？

【论文2】首先选择BERT-Base\BERT-Large\RoBERTa-Base\RoBERTa-Large四个模型，并选择GLUE benchmark中的MRPC和QQP两个数据集（两个数据集都是用来测试句子对是否相同意义的任务）。

上下两个子图分别表示MRPC和QQP两个任务，每个子图有四条实线表示四个模型的准确率，四条虚线表示达到fine-tune整个模型90%的准确率的值，横坐标表示训练d维的大小。从图中可以看出两个任务，四个不同的模型，只需要训练较小的d维参数就可以达到90%的精度。本征维度这个概念在大模型中是成立的。

所以在训练某个下游任务时，只需要训练少量参数就能达到不错的效果了。这时文章开头的问题就已经解决了。但是作者做了一些其他的实验，发现了一些有意思的结论。

3.2 预训练的好坏与本征维度的关系

文章提出这样一个假设，预训练模型能够隐式地降低模型在NLP各个任务的本征维度。

基于这个猜想，文章做了下面实验，在预训练RoBERTa-base模型的时候，每隔10K保存下对应的预训练模型，然后测试保存下来的预训练模型在MRPC、QQP、Yelp Polarity、SST-2、MNLI、ANLI六个数据集本征维度。

结果如下：

可以看出，在不同数据集上有相同的趋势，就是预训练次数越多，模型在各个任务上的本征维度越低。实验并没有特意去优化所谓的本征维度，只是预训练久一点而已。所以印证了预训练模型的表征能力越强（训练得越好），本征维度越小。

3.3 预训练模型参数与本征维度的关系

本来在做预训练参数与本征维度关系的时候，需要统一模型的结构，这样更有说服力。但是作者说，这样要训练很多大模型的实验，为了更方便的对比文章根据已有的结构来做实验。从实验结果的趋势来看，不同结构也能得到有效的结论。

文章利用已有的预训练模型，在MRPC数据集上计算本征维度。

实验结果如下：

上图中纵坐标表示本征维度的值，横坐标表示模型的参数量。从图中的趋势可以明显看出，模型越大本征维度越小，即越强的模型本征维度越低。

3.4 本征维度与泛化能力的关系

上面介绍了fine-tune（3.1）、预训练（3.2）和本征维度的关系，但本征维度与泛化能力的关系还没有验证。即我们现在知道了让本征维度小的方式，但是本征维度小了，泛化能力就能上去吗？

可以看出本征维度低的模型，训练出来的模型准确率是更高的。也就是说本征维度越低，泛化性能越好。

回到引言的问题：为什么LoRA思路能work？

因为大模型存在本征维度的概念，只需要调整少量参数就能在下游任务上得到很好的效果。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。