LoRA:大模型的低秩自适应微调模型

最新推荐文章于 2025-03-12 11:58:19 发布
最新推荐文章于 2025-03-12 11:58:19 发布
阅读量772 收藏 4
点赞数 1
文章标签： 深度学习 人工智能 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247604004&idx=3&sn=0baa6fa9a7ac692a755dc83842c001da&chksm=e9e05eafde97d7b9cfe84f4277e41024dac44f915fd8ca6f3f985b24a2d0ccdd859126bdb186&scene=126&sessionid=0
版权

43ec911fe30482743cd1c12a8f1e2f74.png

来源：DeepHub IMBA
本文约1000字，建议阅读5分钟Low-Rank Adaptation大大减少了下游任务的可训练参数数量。

对于大型模型来说，重新训练所有模型参数的全微调变得不可行。比如GPT-3 175B，模型包含175B个参数吗，无论是微调训练和模型部署，都是不可能的事。所以Microsoft 提出了低秩自适应(Low-Rank Adaptation, LoRA)，它冻结了预先训练好的模型权重，并将可训练的秩的分解矩阵注入到Transformer体系结构的每一层，从而大大减少了下游任务的可训练参数数量。

LoRA

f8bfdbd3402abef602bdcc5dd8a16149.png

对于预训练的权重矩阵W0，可以让其更新受到用低秩分解表示后者的约束:

2dec11027a19db212a1ccdb9a74738b8.png

在训练过程中，W0被冻结，不接受梯度更新，而A和B包含可训练参数。当h=W0x时，修正后的正向传播变为:

6ae3c93e14e706deec4a165fdd25a98d.png

对A使用随机高斯初始化，对B使用零初始化，因此ΔW=BA在训练开始时为零（这点需要注意）。

这种方法的一个优点是，当部署到生产环境中时，只需要计算和存储W=W0+BA，并像往常一样执行推理。与其他方法相比，没有额外的延迟，因为不需要附加更多的层。

在Transformer体系结构中，自关注模块中有四个权重矩阵(Wq、Wk、Wv、Wo)， MLP模块中有两个权重矩阵。LoRA只对下游任务调整关注权重，并冻结MLP模块。所以对于大型Transformer，使用LoRA可减少高达2/3的VRAM使用量。比如在GPT-3 175B上，使用LoRA可以将训练期间的VRAM消耗从1.2TB减少到350GB。

结果展示

797550fb0e5e59b1998246e57be86b0d.png

采用HuggingFace Transformers库中的预训练RoBERTa base (125M)和RoBERTa large (355M)还有DeBERTa XXL (1.5B)进行了评估。它们通过不同的微调方法进行微调。

在大多数情况下，使用LoRA可以在GLUE上获得最佳性能。

75618c01a8a39349b047fd6f04062cb6.png

GPT-3 175B在WikiSQL和mnli匹配的几种自适应方法的可训练参数数的比较

9855e68e359b424507ab808aec2774ee.png

可以看到使用GPT-3, LoRA匹配或超过所有三个数据集的微调基线。

Stable Diffusion

Lora首先被应用在大语言模型上，但是可能被更多人知道的还是他在SD上的应用：

d9f4f77be86f7bf35582f502a9071385.png

在Stable Diffusion微调的情况下，LoRA可以应用于将图像表示与描述它们的提示联系起来的交叉注意力层。下图的细节并不重要，只需知道黄色块是负责构建图像和文本表示之间关系的块。

117a816487a9b48e496503bd500d7d4c.png

所以可以看到这样训练出来的自定义Lora模型会非常的小。

我个人实验：Stable Diffusion进行全面的微调需要最少24G的显存。但是使用Lora，批处理大小为2的单进程训练可以在单个12GB GPU上完成(不使用xformer的10GB，使用xformer的6GB)。

所以Lora在图像生成领域也是非常好的一个微调模型的方式。如果你想了解更多，这里是论文地址：

https://openreview.net/forum?id=nZeVKeeFYf9

编辑：文婧

aeae0e1360b205cf76f92679cc3ee4f1.png

数据派THU
关注
[大模型面试]Lora落地 | LoRA (Low Rank Adaption) 技术核心知识详解
强化学习曾小健
05-27 3378
LoRA通过引入低秩矩阵 �A 和 �B 来进行模型微调，其有效性来自于低秩近似能够捕捉数据的主要特征，并且大幅减少了需要更新的参数量。这与PCA和SVD的低秩分解思想有着紧密的联系。通过借鉴这些经典矩阵分解技术，LoRA能够在减少计算资源和存储需求的同时，保持甚至提升模型的性能。通过引入低秩矩阵 �A 和 �B，LoRA 能够有效地近似原始权重矩阵 �W，同时减少参数量并提高微调效率。这种方法利用了低秩矩阵的属性，与 SVD 和 PCA 的低秩近似思想有着紧密的联系。
Low-Rank Adaption
whaosoft143ai的博客
05-27 1445
因此，重要的是用不同的 r 值进行实验，以找到正确的平衡，从而在新任务中满足所需的性能。新的矩阵 W_A 和 W_B 可以非常小。例如，假设 ΔW 是 A×B 维权重矩阵的权重更新矩阵，这个权重更新矩阵可以分解为两个较小的矩阵：ΔW=W_A W_B，其中 W_A 是 A×r 维矩阵，W_B 是 r×B 维矩阵。LoRA（Low-Rank Adaption，低秩自适应） 作为微调 LLMs 一种比较出圈的技术，其额外引入了可训练的低秩分解矩阵，同时固定住预训练权重，从而大大减少了下游任务的可训练参数数量。
利用大模型构造数据集，并微调大模型
m0_63171455的博客
05-24 1万+
目前大模型的微调方法有很多，而且大多可以在消费级显卡上进行，每个人都可以在自己的电脑上微调自己的大模型。但是在微调时我们时常面对一个问题，就是数据集问题。网络上有许多开源数据集，但是很多时候我们并不想用这些数据集微调模型，我们更希望使用某本书、某个作者的作品、我们自己的聊天记录、某个角色的对话来微调模型。用于微调的数据通常是成千上万的问答对，如果手工搜集，需要花费大量时间。文本将介绍一种方式，利用大模型来构造自己的数据集，并使用我们构造的数据集来微调大模型。
大模型微调数据集构建方法
最新发布
BlueSocks152的博客
03-12 1364
目前大模型的微调方法有很多，而且大多可以在消费级显卡上进行，每个人都可以在自己的电脑上微调自己的大模型。但是在微调时我们时常面对一个问题，就是数据集问题。网络上有许多开源数据集，但是很多时候我们并不想用这些数据集微调模型，我们更希望使用某本书、某个作者的作品、我们自己的聊天记录、某个角色的对话来微调模型。用于微调的数据通常是成千上万的问答对，如果手工搜集，需要花费大量时间。
一文详解大模型微调常用方法
weixin_59191169的博客
04-22 1490
最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS
kebijuelun的博客
03-26 2254
给定一个自回归语言模型 PΦ(y|x)，比如可以是基于通用多任务训练的 GPT 模型，需要将这个模型在下游任务上进行 finetune，比如机器阅读理解 (MRC) 和自然语言转换为 SQL (NL2SQL) 这两个任务上，这些任务的数据通常是上下文与目标对：Z = {(xi, yi)}i=1,…,N，其中 xi 和 yi 都是 token 序列比如在 NL2SQL 中，xi 是自然语言查询，yi 是对应的 SQL 指令。
LoRA（Low-Rank Adaptation）原理与应用
SimpleLearning
04-23 1289
LoRA是一种用于调整和微调大型神经网络的技术，特别适用于直接微调整个网络参数成本高昂或不切实际的情况。
LoRA：大模型的低秩自适应
GuiBin1的博客
09-12 947
自然语言处理的一个重要范例是在一般领域数据上进行大规模预训练，然后适应特定任务或领域。而随着预训练模型越来越大，重新训练所有模型参数的全面微调就变得不可行了。作者提出了低秩自适应技术，可以冻结预训练模型的权重，并将可训练的秩分解矩阵注入Transformer的每一层，从而大大减少下游任务的可训练参数量。与使用Adam进行微调的GPT-3 175B相比，LoRA可将可训练参数量降低10,000倍，GPU内存需求减少3倍。LoRA在RoBERTaDeBERTaGPT-2和GPT-3。
LoRA低秩自适应微调技术原理及实践
新缸中之脑
06-03 1362
用于解决微调大型语言模型 (LLM) 的挑战。GPT 和 Llama 等模型拥有数十亿个参数，通常对于特定任务或领域进行微调的成本过高。LoRA 保留了预训练的模型权重，并在每个模型块中加入了可训练层。这显著减少了需要微调的参数数量，并大大降低了 GPU 内存需求。LoRA 的主要优势在于，它大幅减少了可训练参数的数量——有时最多可减少 10,000 倍——从而大大降低了 GPU 资源需求。
【机器学习】LoRA：大语言模型中低秩自适应分析
richard_yuu的博客
06-04 1483
LoRA作为一种参数高效调优方法，在大型语言模型领域展现出了巨大的潜力。通过仅训练低秩扰动到选定的权重矩阵，LoRA能够在保证模型性能的同时，显著降低计算和存储成本。虽然LoRA在某些任务上的性能略低于完全微调，但其在目标域之外任务上的性能保持能力更强，这使得LoRA成为一种理想的正则化形式。未来，随着技术的不断发展，我们有理由相信LoRA将在更多领域得到广泛应用。
什么是低秩自适应（LoRA）技术
yyq916的博客
07-29 926
它是一种用于微调大型预训练语言模型的方法，旨在通过在少量参数上进行训练来实现对特定任务的优化，从而减少计算资源和时间的消耗，同时能够有效地提升模型在特定领域或任务上的性能。LoRA 可以被看作是一种隐式的正则化方法，对模型的调整进行了一定的约束，使得模型在学习新任务时更加稳健，不易受到有限训练数据中的噪声和偏差的影响。通过限制可训练参数的数量，降低了模型的整体复杂度，使其不太容易捕捉到训练数据中的细微、随机的模式，从而降低过拟合的风险。在训练过程中，仅更新这些低秩矩阵的参数，而不是整个原始的大参数矩阵。
LoRA:低秩自适应
qq_36553572的博客
07-26 1174
本章节是对轻松上手微调大语言模型——QLORA篇中提到的LoRA的原理解释。
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
qq_43800752的博客
06-01 2650
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，然后根据特定任务或领域进行适应性训练。随着我们对模型进行更大规模的预训练，完全微调（重新训练所有模型参数）变得越来越不可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每个层中，从而大大减少了下游任务的可训练参数数量。
Stable Diffusion【模型篇】：LORA模型
小王的储物间
07-18 3818
LORA模型，可以简单的理解是大模型的补丁，用于满足一种特定的风格，或者指定的人物特征或动作特征，增强绘制图片的细节。（1）LORA模型必须结合大模型一起使用，所以使用LORA模型时候，务必要清楚这个LORA模型是在哪些模型下面训练出来的，一般在LORA模型下载界面的介绍信息中或者提供的图片中可以查到。（2）要习惯阅读LORA模型下载界面对于该模型相关的介绍信息，不管是国外还是国内网站提供的模型界面，模型上传的大神们很多都提供了详细的使用说明，我们了解了之后，在具体使用的时候会让我们少走很多弯路。
关于大模型微调，你想知道的都在这里了
热门推荐
yulingzheng的博客
07-26 1万+
感性理解:大模型微调指的是“喂”给模型更多信息，对模型的特定功能进行 “调教”，即通过输入特定领域的数据集，让其学习这个领域的知识，从而让 大模型能够更好的完成特定领域的NLP任务，例如情感分析、命名实体识别、文本分类、对话聊天等;微调并不是大模型领域独有的概念，而是伴随着深度学习技术发展，自然诞生的一个技术分支，旨在能够有针对性的调整深度学习模型的参数(或者模型结构)，从而能够使得其更佳高效的执行某些特定任务，而不用重复训练模型;
lora:low-rank adaption of large language models
liguandong
03-10 2918
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
LoRA(Low-Rank Adaptation)模型核心基础知识
weixin_47748259的博客
01-11 2409
假设原来的是100x1024的参数矩阵，那么参数量为102400，LoRA模型将矩阵拆成了两个矩阵相乘，如果设置Rank=8，那么就是100x8的B矩阵与8x1024的A矩阵做矩阵乘法，参数量为800+8192=8992，整体参数量下降了约11.39倍。因此，在训练完成后，可以获得一个参数远小于SD模型的LoRA模型。与SD模型的参数有相同的维度，同时分解出来的两个较小矩阵可以确保参数更新是在低秩情况下的，这样就显著减少训练的参数数量了。，我们不再对其进行全参微调训练，而是对权重加入残差的形式，通过训练。
LoRA（Low-Rank Adaptation）
h52013141的博客
12-12 1055
LoRA（Low-Rank Adaptation）是一种针对深度学习模型的参数调整方法，特别适用于大型预训练模型如GPT-3或BERT。它通过在模型的原有权重上添加低秩（low-rank）矩阵，以有效且资源高效的方式实现模型的微调。
低秩自适应（LoRA）
01-12
### 低秩自适应 (LoRA) 模型微调与参数高效调整 #### 定义与原理 低秩自适配(LoRA)[^3]是一种旨在减少预训练模型在特定下游任务上微调所需资源的技术。这种方法的核心在于将原本庞大的全连接层或注意力机制中的权重矩阵分解成两个较小维度的矩阵乘积形式，即$W=U\cdot V^{T}$，其中$U,V \in R^{r\times d}, r<d$。这种做法不仅能够大幅度削减待优化变量数目，而且有助于缓解过拟合现象。 #### 实现细节 具体来说，在Transformer架构里应用LoRA意味着只允许某些选定位置处的小规模新增模块参与反向传播过程并接受梯度更新操作；与此同时保持其余大部分网络组件处于冻结状态不变动。对于每一个被选中的线性变换而言，则会额外附加一对形状分别为$(d,r)$和$(r,d)$的新张量作为其扩展部分[^1]。 当执行评估模式(`model.eval()`), LoRA 参数将会同对应的预训练参数相融合以确保推理阶段无任何性能损耗; 而切换回训练模式 (`model.train()`) 后又自动恢复原状以便继续迭代改进[4]. ```python from peft import get_peft_model, LoraConfig, TaskType lora_config = LoraConfig( task_type=TaskType.SEQ_CLS, inference_mode=False, r=8, ) peft_model = get_peft_model(model, lora_config) ``` 上述代码片段展示了如何配置以及获取一个带有LoRA设置的目标分类任务专用PEFT(Prompt Engineering Fine-Tuning)版本transformer model实例. #### 性能优势 相较于其他选择性的参数高效微调方案(SaRA)，LoRA可以在GPU内存占用方面提供超过百分之四十以上的节约效果，并且仅需极少量改动即可完成集成部署工作流转换[2].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值