模型微调方法LoRA

最新推荐文章于 2025-03-26 16:37:57 发布
最新推荐文章于 2025-03-26 16:37:57 发布
阅读量1k 收藏 15
点赞数 27
分类专栏： 大模型 文章标签： 人工智能 算法 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66890670/article/details/142956607
版权

简介：个人学习分享，如有错误，欢迎批评指正。

在近年来，随着大型语言模型（如GPT-3、GPT-4等）的迅速发展，如何高效、经济地微调这些模型以适应特定任务成为了一个重要的研究方向。Low-Rank Adaptation（低秩适配，简称LoRA）是一种创新的方法，旨在通过低秩矩阵分解技术高效地微调大型语言模型。

一、背景与动机

1. 大型语言模型的发展

大型语言模型凭借其在自然语言处理任务中的卓越表现，广泛应用于文本生成、翻译、问答系统等领域。然而，这些模型通常拥有数十亿甚至上千亿的参数，导致以下问题：

  • 高昂的计算成本：训练和微调这些模型需要大量的计算资源，导致计算成本高。
  • 存储需求巨大：每个微调任务需要存储一份完整的模型参数，导致存储成本高昂。
  • 微调效率低：针对不同任务分别微调模型，缺乏共享机制，降低了效率。

2. 微调方法的发展

为了解决上述问题，研究者提出了多种微调方法，包括：

  • 全参数微调（Full Fine-Tuning）：调整模型的所有参数，适应性强但成本高。
  • 冻结部分参数：只微调部分参数，降低计算和存储成本，但可能限制模型的适应能力。
  • 参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）：通过引入少量可训练参数，实现高效微调。LoRA 即为其中一种典型方法。

二、LoRA的具体实现步骤

在这里插入图片描述

1. 确定适配层

在大型语言模型（如 Transformer 架构）中，LoRA 通常应用于关键的权重矩阵，如自注意力机制中的查询（Query）、键（Key）、值（Value）矩阵以及前馈网络中的权重矩阵。这些权重矩阵通常是大型的线性变换矩阵，适合进行低秩分解。

2. 插入低秩适配模块

对于每个需要适配的权重矩阵 W W W，LoRA 通过插入两个新的可训练矩阵 A A A 和 B B B 来表示权重的更新：

W ′ = W + Δ W = W + A ⋅ B W' = W + \Delta W = W + A \cdot B W′=W+ΔW=W+A⋅B

其中，原始权重 W W W 保持冻结，不参与训练。只有 A A A 和 B B B 参与训练，从而实现参数高效的微调。

3. 参数初始化

  • 矩阵 A A A 的初始化：通常采用随机初始化，使用小的随机值（如从标准正态分布中采样并乘以一个缩放因子），以确保初始的 Δ W \Delta W ΔW 对模型输出的影响较小。
  • 矩阵 B B B 的初始化：通常初始化为零矩阵，这样初始的 Δ W = A ⋅ B = 0 \Delta W = A \cdot B = 0 ΔW=A⋅B=0，确保初始模型行为与原始模型一致。

4. 训练过程

在微调过程中，只有矩阵 A A A 和 B B B 是可训练的参数。训练目标仍然是最小化任务特定的损失函数，但优化器只更新 A A A 和 B B B，保持 W W W 不变。

训练步骤如下：

  1. 前向传播：计算 W ′ = W + A ⋅ B W' = W + A \cdot B W′=W+A⋅B，并使用 W ′ W' W′ 进行前向传播。
  2. 损失计算：根据任务目标计算损失。
  3. 反向传播：仅计算 A A A 和 B B B 的梯度。
  4. 参数更新：使用优化器更新 A A A 和 B B B。

5. 推理阶段

在推理阶段，使用微调后的权重 W ′ = W + A ⋅ B W' = W + A \cdot B W′=W+A⋅B 进行计算。由于 W W W 是冻结的，只需要存储 A A A 和 B B B 即可，不需要额外的计算开销。

三、LoRA在Transformer中的集成

Transformer 架构是目前大型语言模型的主流架构，LoRA 主要针对 Transformer 中的线性层进行适配。以下以 Transformer 的自注意力机制为例，说明 LoRA 的集成方式。

1. 自注意力机制中的权重矩阵

在自注意力机制中，有三个主要的权重矩阵：查询矩阵 W Q W_Q WQ​、键矩阵 W K W_K WK​ 和值矩阵 W V W_V WV​。这些矩阵用于计算注意力得分和加权输出。

2. 应用 LoRA

对于每个权重矩阵 W W W（即 W Q , W K , W V W_Q, W_K, W_V WQ​,WK​,WV​），LoRA 引入两个低秩矩阵 A A A 和 B B B，并将其更新添加到原始权重上：

W q ′ = W q + A q ⋅ B q W'_q = W_q + A_q \cdot B_q Wq′​=Wq​+Aq​⋅Bq​

W k ′ = W k + A k ⋅ B k W'_k = W_k + A_k \cdot B_k Wk′​=Wk​+Ak​⋅Bk​

W v ′ = W v + A v ⋅ B v W'_v = W_v + A_v \cdot B_v Wv′​=Wv​+Av​⋅Bv​

其中， A q , B q , A k , B k , A v , B v A_q, B_q, A_k, B_k, A_v, B_v Aq​,Bq​,Ak​,Bk​,Av​,Bv​ 分别对应于查询、键和值的适配矩阵。

3. 前馈网络中的适配

同样地，Transformer 的前馈网络中的权重矩阵（如 W 1 W_1 W1​ 和 W 2 W_2 W2​）也可以应用 LoRA 进行适配：

W 1 ′ = W 1 + A W 1 ⋅ B W 1 W'_1 = W_1 + A_{W1} \cdot B_{W1} W1′​=W1​+AW1​⋅BW1​

W 2 ′ = W 2 + A W 2 ⋅ B W 2 W'_2 = W_2 + A_{W2} \cdot B_{W2} W2′​=W2​+AW2​⋅BW2​

通过这种方式，整个 Transformer 层的关键权重矩阵都得到了高效的适配。

四、LoRA的数学基础详解

1. 矩阵的秩与低秩分解

1.1 矩阵的秩（Rank of a Matrix）

<

最低0.47元/天 解锁文章
语言大模型的模型微调方法LoRA
JustinMars的博客
03-17 269
LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，它通过对预训练语言模型的权重矩阵进行低秩分解，仅调整少量的低秩矩阵，从而在保持较高性能的同时，显著降低了计算和内存消耗。它适用于资源有限的场景，尤其是大规模预训练模型的微调，能够加速训练过程并节省计算资源。
大模型LoRA微调调参的实战技巧(持续更新)
热门推荐
herosunly的博客
05-01 19万+
本文主要介绍了大模型LoRA微调调参的实战技巧，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战技巧
大模型高效微调-LoRA原理详解和训练过程深入分析
SHIDACSDN的博客
06-11 4834
博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数，从而达到使用更少显存占用的高效微调。 1.1 问题定义 LoRA与训练目标是解耦的，...
【语言大模型微调】LoRA — 尖端的大模型微调技术
qq_45752541的博客
07-23 7383
讨论了微调的概念，以及LoRA如何将微调视为学习参数变化，而不是迭代学习新参数。我们学习了线性独立性和秩，以及由于大多数权重矩阵的秩较低，变化矩阵可以用小因子表示。我们将所有内容整合在一起，逐步介绍了LoRA，然后使用HuggingFace PEFT模块在问答任务中实现了LoRA
LORA轻量级微调DeepSeek（浅析）
2401_85375186的博客
03-04 2089
LORA 微调通过低秩适配实现了大模型的高效定制化，特别适合资源有限场景下的领域适配与个性化生成。结合量化技术（如 4bits）可进一步降低硬件门槛，而工具链（如peft）的成熟使其成为工业落地的首选方案。
大模型全量微调和 LoRA 微调：一看就懂
xiangxueerfei的博客
07-08 3470
最后我们做一个总结，首先全量微调就是针对于这些每个参数的学习，就是我要通过学习的方法，把这里的每个参数都要一个一个的要把它算出来。那相反，在LoRA的模式下，我们实际上要得出来的是这个矩阵，但是我们学习的方法是用于学习这两个矩阵来替代它。然后这两个矩阵所占用的参数的数量要比它要小很多，所以就会节省非常多的资源。
LoRA微调
m0_69109706的博客
06-24 1039
它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入Transformer架构的每一层，从而大大减少了下游任务的可训练参数数量。LoRA 是一个非常重要的可调优结构，简单来说，就是增加了一个额外可训练部分，比如原来的 Linear 的矩阵是 MxN 维，增加一个 LoRA，该 LoRA 会包含两个参数量较少的矩阵：Mxd, dxN，这两个矩阵相乘后仍然是 MxN 维的，训练时原 MxN 矩阵冻结，只训练 LoRA 的两个矩阵，参数量就会大大减少。训练过程中冻结参数𝑊0，仅训练A和B中的参数。
【大模型】LoRA模型微调-基于transformers框架的示例，零基础入门到精通，收藏这一篇就够了
Python_paipai的博客
08-02 2348
本文将完整介绍使用LoRA进行模型微调。使用框架。代码可以在 我的github[1] 上找到。
百川大模型微调，lora模型，训练微调自己的大预言模型
08-03
百川大模型微调，lora模型，训练模型，大语言模型，Baichuan-7B模型微调，百川大模型量化 int量化 INT4量化微调模型，Baichuan-7B模型量化 百川模型量化 Baichuan-7B 是由百川智能开发的一个开源可商用的大规模预...
大模型微调＜LoRA＞
cancer_s的博客
09-26 727
2、模拟全参数微调的效果。4、更高的灵活性和适应性。5、模拟全参数微调的效果。3、直接作用于模型结构。2、无需牺牲输入空间。
使用LoRA进行高效微调：基本原理
数字人生
05-26 7459
选择一个预训练的神经网络模型，例如ResNet、Transformer等。为了简单起见，您可以选择一个轻量级的卷积神经网络（CNN）。
LoRA3
whaosoft143ai的博客
12-04 302
如果我们选择 r=8 的 A 和 B，则 A 有 10,000 行和 8 列，B 有 8 行和 20,000 列，即 10,000×8 + 8×20,000 = 240,000 个参数，比 200,000,000 个参数少约 830 倍。此外，我只对（1）仅启用查询和权重矩阵的 LoRA，（2）启用所有层的 LoRA，这两种设置进行了探索，在更多层的组合中使用 LoRA 会产生何种效果，值得深入研究。我只对（1）仅启用查询和权重矩阵的 LoRA，（2）启用所有层的 LoRA，这两种设置进行了探索。
大模型微调-lora微调
最新发布
yuange1666的博客
03-26 957
在传统的模型微调中，尤其是大型预训练模型，对所有参数进行更新需要巨大的计算资源和时间成本。而 LoRA 的思路是冻结预训练模型的原始权重，不直接对其进行更新，而是在模型的某些层（常见于 Transformer 模型的自注意力层和前馈网络层 ）中引入低秩矩阵来实现微调。
LoRA指令微调
Twilight737的博客
02-15 1126
指令微调 (Instruction Tuning) 是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调，这一术语由谷歌研究员在2022年的一篇ICLR论文中正式提出。在另外一些参考文献中，指令微调也被称为有监督微调 (Supervised Fine-Tuning) 或多任务提示训练 (Multi-task Prompted Training)。
大模型微调系列之LoRA详解
qq_48717745的博客
09-08 5019
本文针对大模型微调方法LoRA的原论文对其原理进行了详细解读。
大语言模型微调实践——LoRA 微调细节
LF_AI的博客
08-21 5557
1. 引言近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特定任务上发挥出色，还需借助微调技术。大语言模型的微调技术已经成为自然语言处理领域的一个焦点，其不断的演化和创新正引领着我们进入一个更加精细、个性化的文本处理时代。在本文中，我们将选取...
大模型微调---Lora微调实战
niulinbiao的博客
12-21 2270
LoRA是一种参数高效的微调技术，通过低秩转换对大型语言模型进行适应性更新，减少了权重矩阵的更新成本。它通过学习低秩矩阵来调整权重，以适应特定任务，同时保持计算效率。大模型都是过参数化的， 当用于特定任务时， 其实只有一小部分参数起主要作用。也就是参数矩阵维度很高， 但可以用低维矩阵分解近似。具体做法是， 在网络中增加一个旁路结构，旁路是A和B两个矩阵相乘。A矩阵的维度是[d,r]B矩阵的维度是[r,d], 其中r
大模型微调技术揭秘——LoRA
Whitney66的博客
04-16 2668
受此启发，微软提出了低秩适配（LoRA）方法，设计了特定结构，在涉及矩阵乘法的模块中引入两个低秩矩阵A和B，以模拟完全微调过程。这相当于只对语言模型中起关键作用的低秩本质维度进行更新。
微调模型方法lora
03-08
### 使用LoRA方法进行模型微调 #### 背景介绍 为了提升特定任务的表现，可以采用低秩适应（Low-Rank Adaptation, LoRA）来调整大型预训练模型。这种方法特别适用于Transformer架构下的自注意力机制部分[^1]。 #### 实现细节 具体来说，在应用LoRA时会集中于transformer结构里的query、key以及value投影层。这些位置被选作插入额外学习组件的地方。通过这种方式，可以在不改变原有网络参数的情况下增强其性能表现[^2]。 #### 微调过程概述 当利用LoRA对像Qwen这样的大规模语言模型实施精细化调节时，主要操作如下： - **初始化**：加载预先训练好的基础模型作为起点； - **配置LoRA模块**：针对选定的目标子网创建并连接相应的低秩分解矩阵； - **冻结原生权重**：除了新增加的部分外，其余所有先前已有的权值都将固定不动； - **定义优化器与损失函数**：指定用于指导新加入变量迭代更新规则及其评判标准； - **执行反向传播算法**：依据给定数据集反复修正那些专门设计用来改进特定制约条件下效能的新参量； - **保存最终版本**：完成整个流程之后存储经过改良后的整体体系以便后续部署或进一步研究使用。 ```python from peft import LoraConfig, get_peft_model import transformers model_name_or_path = "Qwen" tokenizer = transformers.AutoTokenizer.from_pretrained(model_name_or_path) lora_config = LoraConfig( r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", ) peft_model = get_peft_model(transformers.AutoModelForCausalLM.from_pretrained(model_name_or_path), lora_config) # 假设已经准备好了一个PyTorch DataLoader对象train_dataloader for epoch in range(num_epochs): for batch in train_dataloader: outputs = peft_model(**batch) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() peft_model.save_pretrained("./fine-tuned-qwen-lora") ``` 此代码片段展示了如何基于Hugging Face Transformers库和PEFT工具包快速设置一个带有LoRA支持的大规模语言模型实例，并对其进行简单训练的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值