【大模型】LoRA微调时如何选择参数

已于 2025-04-12 11:25:07 修改
阅读量207 收藏 3
点赞数
分类专栏： 大模型 文章标签： 大模型
于 2025-04-11 15:25:46 首次发布
原文链接：https://zhuanlan.zhihu.com/p/15084326626
版权

文章目录

本文主要内容参考：一文带你熟悉lora微调各类参数，轻松上手deepseek模型微调(全过程代码+结果对比)

1. LoRA原理

LoRA（Low-Rank Adaptation）是一种针对大型语言模型的微调技术，旨在降低微调过程中的计算和内存需求。其核心思想是通过引入低秩矩阵来近似原始模型的全秩矩阵，从而减少参数数量和计算复杂度。

在LoRA中，原始模型的全秩矩阵被分解为低秩矩阵的乘积。具体来说，对于一个全秩矩阵W，LoRA将其分解为两个低秩矩阵A和B的乘积，即W ≈ A * B。其中，A和B的秩远小于W的秩，从而显著减少了参数数量。

在这里插入图片描述

上图为 LoRA 的实现原理，其实现流程为：

  1. 在原始预训练语言模型旁边增加一个旁路，做降维再升维的操作来模拟内在秩；
  2. 用随机高斯分布初始化 A，用零矩阵初始化B，训练时固定预训练模型的参数，只训练矩阵 A 与矩阵 B ；
  3. 训练完成后，将 B 矩阵与 A 矩阵相乘后合并预训练模型参数作为微调后的模型参数。

公式表示为：
在这里插入图片描述

其中，W是原始的权重矩阵，A是一个尺寸为dr的矩阵，B是一个尺寸为rd’的矩阵，r是低秩矩阵的秩。通过这种分解，原始矩阵W的更新仅由A和B的乘积决定。进一步地，LoRA引入了一个缩放因子α，使得更新公式为：

在这里插入图片描述

代码表示如下：

scaling = alpha / r
weight = weight + scaling * (lora_B @ lora_A)

2. 参数设置

那么在实际使用的时候，我们如何确定lora参数？这些参数的变化对实验结果产生什么影响？模型具体哪些部分参数需要使用lora？等等这些问题，我们应该如何应对？

下面我们先以 基于 PEFT 的 LORA 微调为例，介绍下 LORA 究竟包含哪些主要的参数：

PEFT（Parameter-Efficient Fine-Tuning） 库是一个用于高效微调大规模预训练模型的工具，旨在减少训练时的计算和存储成本，同时保持模型性能。它通过引入LoRA、Adapter等技术，使得只需调整部分参数即可实现有效的微调。

LoraConfig 是peft库中的一个配置类，用于设置LoRA相关的超参数，如低秩矩阵的秩、缩放因子等，它帮助用户定制LoRA微调的细节，优化训练过程的效率和效果。

基于 LoraConfig 类设置 lora 微调参数的示例代码如下：

from peft import LoraConfig, TaskType

lora_config = LoraConfig(
        r=16,
        lora_alpha=32,
        lora_dropout=0.05,
        bias="none",
        target_modules=['up_proj', 'gate_proj', 'q_proj', 'o_proj', 'down_proj', 'v_proj', 'k_proj'],
        task_type=TaskType.CAUSAL_LM,
        inference_mode=False  # 训练模式
    )

从上面的代码可以看出，LORA微调的核心参数包括：

  • target_modules
  • r
  • lora_alpha
  • lora_dropout

下面我们来一一进行讲解。

2.1 target_modules

target_modules 是 LoRA（Low-Rank Adaptation）中的关键参数，用于指定模型中需要插入低秩矩阵调整的模块。 LoRA 的核心思想是通过对预训练模型中的特定层进行低秩矩阵插入，实现参数高效微调而无需修改原始权重。

对于语言模型，通常选择影响权重更新较大的模块，例如q_proj和k_proj（负责查询和键的变换），v_proj（值的变换），以及o_proj（输出投影）等。这些模块主要集中在自注意力和前馈网络中，通过插入的低秩矩阵调整这些模块的权重，使模型在保持原始能力的同时适应新任务，极大减少微调的计算和存储开销。

比如，LLaMa的默认模块名为[q_proj, v_proj]，我们也可以自行指定为：[q_proj,k_proj,v_proj,o_proj]。

这里，为了搞清楚具体哪些层会参与lora微调，我们使用 deepseek 观察模型每一层具体都是什么：

# 查看模型层的代码如下
# 本文使用的是大模型的通用对话功能，因此导入AutoModelForCausalLM查看

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(model_name)
print(model)

具体模型结构如下：

LlamaForCausalLM(
  (model): LlamaModel(
    (embed_tokens): Embedding(102400, 4096)
    (layers): ModuleList(
      (0-29): 30 x LlamaDecoderLayer(
        (self_attn): LlamaSdpaAttention(
          (q_proj): Linear(in_features=4096, out_features=4096, bias=False)
          (k_proj): Linear(in_features=4096, out_features=4096, bias=False)
          (v_proj): Linear(in_features=4096, out_features=4096, bias=False)
          (o_proj): Linear(in_features=4096, out_features=4096, bias=False)
          (rotary_emb): LlamaRotaryEmbedding()
        )
        (mlp): LlamaMLP(
          (gate_proj): Linear(in_features=4096, out_features=11008, bias=False)
          (up_proj): Linear(in_features=4096, out_features=11008, bias=False)
          (down_proj): Linear(in_features=11008, out_features=4096, bias=False)
          (act_fn): SiLU()
        )
        (input_layernorm): LlamaRMSNorm((4096,), eps=1e-06)
        (post_attention_layernorm): LlamaRMSNorm((4096,), eps=1e-06)
      )
    )
    (norm): LlamaRMSNorm((4096,), eps=1e-06)
    (rotary_emb): LlamaRotaryEmbedding()
  )
  (lm_head): Linear(in_features=4096, out_features=102400, bias=False)
)

可以看到deepseek模型也是采取的Llama模型结构，那么具体哪些层会参与lora微调呢？下面将详细介绍：

（1）Attention层

  • Self-attention层: 这些层通常对模型性能影响较大。LoRA会被应用于自注意力的查询（q_proj）、键（k_proj）、值（v_proj）和输出（o_proj）投影矩阵。这些矩阵包含了大量的可训练参数，因此是LoRA微调的理想目标。
  • LlamaSdpaAttention中的矩阵：
    • q_proj: 查询投影
    • k_proj: 键投影
    • v_proj: 值投影
    • o_proj: 输出投影
  • Rotary Embedding：虽然在一些实现中会对嵌入进行微调，但通常LoRA不会直接用于rotary_emb，因为它通常是固定的。

（2）MLP层 - MLP层中的Gate、Up和Down投影

  • gate_proj：控制门投影
  • up_proj：上升投影
  • down_proj：下降投影
  • MLP层的Gate、Up和Down投影通常涉及大量的可训练参数，因此对这些投影进行LoRA微调，可以在不显著增加计算负担的情况下优化模型表现。通过低秩适应，LoRA能够在减少参数量的同时，增强模型对复杂模式的适应能力。这些曾在处理非线性变换时起到重要作用，通常也是LoRA微调的目标。

（3）LayerNorm层

  • RMSNorm: 在Llama中使用的是LlamaRMSNorm（Root Mean Square Layer Normalization），它与标准的LayerNorm不同，但也可以通过LoRA微调。虽然这部分常常不会进行微调，但如果需要微调，通常会集中在注意力层和MLP层上。

（4）Embedding层

  • embed_tokens：如果对词嵌入有需要进行微调，LoRA也可以应用于嵌入矩阵。尤其在词汇量较大的情况下，嵌入矩阵的参数量非常庞大，这样进行LoRA微调也可以获得一定的性能提升。

（5）线性层（lm_head）

  • lm_head：在模型输出时，lm_head是从隐藏层到词汇表的最后一层线性转换。通常，LoRA不会直接应用于输出层，但在某些微调场景下，可以将LoRA应用于该层以调整模型输出。

【总结】： 一般来说，LoRA微调会集中在以下层：

  • Attention层的查询、键、值和输出投影（q_proj, k_proj, v_proj, o_proj）
  • MLP层的gate_proj、up_proj 和 down_proj
  • 可能在某些场景下微调embed_tokens和lm_head 通过这种方式，LoRA能够有效减少参数量和计算成本，同时保持微调的效果。

2.2 r、alpha、dropout

在模型微调的过程中，r、alpha和dropout是常见的超参数，用于优化模型训练和提升其泛化能力。

  • r：通常用于LoRA（Low-Rank Adaptation）方法中，表示 低秩矩阵的秩值 。r决定了微调时使用的低秩矩阵的维度，较小的r可以减少参数数量，从而提高训练效率，但可能牺牲一定的模型表现。较小的r（例如 8-32）适用于较小模型或需要较低资源的情况，而较大的r（例如 64-128）适用于更大规模的模型。
  • alpha：是LoRA中的一个超参数，用来 控制低秩矩阵的 缩放因子 。通过调整alpha，可以平衡低秩矩阵的影响，使模型能够在微调过程中保持足够的表达能力。16-32 是比较常见的选择，较大的alpha值通常会增加模型的表达能力，但也可能增加训练难度。
  • Dropout：是一种正则化技术，通过 在训练过程中随机丢弃神经网络中的部分神经元来防止过拟合。dropout率控制丢弃的概率，较高的dropout率有助于减少模型的复杂度，从而提升其在新数据上的泛化能力。对于大多数任务，0.2-0.3 是比较常见的取值，较低的dropout值（如 0.1）适合于较小的模型，而较高的dropout值（如 0.4-0.5）适合于较大的网络，尤其是在防止过拟合时。

【总结】：

  • r：通常选择 8-128，根据任务和模型规模调整。
  • alpha：常见值在 16-64，推荐 16-32。
  • Dropout：常见值在 0.1-0.5，推荐 0.2-0.3。

2.3 Lora参数的设置经验

Lora参数的设置经验参考博客：

（1）如何选择合适的 rank 值？
没有任何好的启发式方法来选择一个好的r，这是一个需要为每个LLM和每个数据集探索的超参数。

  • 太大的r可能会导致更多的过拟合
  • 小的r可能无法在数据集中捕获各种任务

总体来说，数据集中的任务越多样化，r 就应该越大。例如，如果我只想要一个执行基本2位算术的模型，那么一个很小的r可能已经足够了。

（2）rank 和 alpha 的设置经验

Choosing alpha as two times r is a common rule of thumb when using LoRA for LLMs, but I was curious if this still holds for larger r values.

将alpha设置为r的两倍是一种常见的经验法则，即 alpha = 2*rank。

然而，这条规则对于较大的r值也不一定适用。在模型和数据集的这种特定组合中，其中 r=256 且 alpha=128（0.5 倍缩放）性能甚至更好。如下图所示：
在这里插入图片描述

（3）dropout 的设置经验
一般设置为 0.05 或者 0.1 都可以。

（4）如何避免过拟合？
通常，较大的 rank 会导致更多的过拟合，因为它决定了可训练参数的数量。我们如果使用小模型微调时，使用的 rank 值可以选择 {8,16,32}之类的。
如果一个模型存在过拟合问题，可以减小 r 或增加数据集大小来避免过拟合。此外，也可以尝试在AdamW或SGD优化器中增加权重衰减率，也可以考虑增加LoRA层的dropout值。

参考资料

一文带你熟悉lora微调各类参数，轻松上手deepseek模型微调(全过程代码+结果对比)

LLM - 大模型 LoRA 微调的超参数与参数量 教程
AGI
11-28 1633
LoRA(Low-Rank Adaptation, 低秩适配)，微调预训练大模型的技术，即参数有效微调(Parameter-Efficient Fine-tuning, PEFT)，在不改变原始权重的基础上，引入可训练的 低秩分解矩阵 调整模型参数，适应特定任务或领域。冻结预训练模型的参数，在 Transfomer 的每一层中，加入可训练的旁路矩阵(低秩可分离矩阵)，将旁路输出与初始路径输出相加，输入到网络当中，只训练这些新增的旁路矩阵参数。
Lora微调训练参数解读
golfxiao的专栏
08-27 5084
通过前面两次微调训练欺诈文本分类微调（六）：Lora单卡和欺诈文本分类微调（七）—— lora单卡二次调优，我们已经初步理解了微调的整个过程，里面涉及到不少的参数配置，这篇文章就对前面用到过的参数作一个基本的梳理和总结。
LoRA（Low-Rank Adaptation）微调参数详解与步骤指南
最新发布
风一样
04-07 1459
LoRA微调通过低秩矩阵分解实现了参数高效优化，其核心在于秩的选择、学习率动态调整、硬件资源适配的三者协同。建议遵循“显存试探→任务适配→参数调优”的流程，结合前沿技术（如QLoRA、LoRA+）实现高效训练。实际应用中需通过AB测试验证参数组合，尤其关注梯度范数和验证集损失的动态变化。
优化 Lora 微调：提升模型性能与泛化能力
秋声工作室
12-17 1311
通过合理设置 Lora 微调参数、有效解决训练过程中出现的问题，并采用科学的评估方法，我们能够显著提升模型性能，使其在特定任务上表现出色，同时保持良好的通用性和泛化能力。这一系列优化措施为模型在实际应用中的可靠运行提供了有力保障，希望本文的经验分享能为自然语言处理领域的研究和实践提供有益的借鉴。# 假设已经有训练损失和验证损失的列表数据plt.show()通过这样的曲线，我们可以直观地看到损失的波动情况和收敛趋势，进一步辅助我们分析微调过程中的模型表现。
AIGC｜FineTune工程之LoRa高效参数微调
在数字化道路无限探索
07-07 1107
打造自己的LLM
LoRA微调模型结构可训参数和配置详解
weixin_42924890的博客
09-07 1681
1、构建一个简单的两层线性网络，加relu激活函数，在第一层Linear中使用LoRA策略，打印看下模型结构。复习Lora在第一层Lnear网络的结构，即在第一层旁增加lora策略。 2、打印原始网络结构中可训练的参数和LoRA策略下的参数量。 3、LoraConfig类的一些参数解释
大模型LoRA微调调参的实战技巧(持续更新)
herosunly的博客
05-01 19万+
本文主要介绍了大模型LoRA微调调参的实战技巧，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战技巧
模型全参数训练和LoRA微调所需显存的分析
热门推荐
herosunly的博客
05-05 21万+
本文介绍模型全参数训练和LoRA微调所需显存的分析，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 全参数训练 3. LoRA微调
大模型LoRA微调-基于ChatGLM3-6B模型的LoRA方法微调实现-附项目源码+流程教程-优质项目实战.zip
10-16
大模型LoRA微调技术是一种先进的机器学习技术，它基于LoRA（Low-Rank Adaptation）方法对大型预训练语言模型进行微调。LoRA方法的核心思想是利用低秩结构来逼近参数矩阵的更新，从而在不显著增加模型参数数量的前提...
使用LoRA微调qwen模型优化模型推理效果
10-12
无论是对于从事人工智能研究的专业人员，还是对于刚接触模型微调的初学者，本资源都提供了一个很好的起点，帮助他们快速理解和掌握LoRA微调技术，有效地优化模型的推理效果。通过这份资源，用户可以更容易地将先进的...
PEFT LoRA 介绍（LoRA微调使用的参数及方法）
qyhua的专栏
07-26 1915
官网简介如下图：翻译过来是：低秩自适应(LoRA)是一种PEFT方法，它将一个大矩阵在注意层分解成两个较小的低秩矩阵。这大大减少了需要微调的参数数量。说的只是针对注意力层，其实我自己平时微调操作注意力层+多层感知机层，感觉所有层都可以微调。在阿里的千问开源的模型文档上也看到微调的并不只有注意力层，不知道微调加入其它层效果会不会更好？
Swift常用Lora微调参数以及常用值（个人参考用）
qq_39257634的博客
07-24 1261
【代码】Swift常用Lora微调参数以及常用值。
纯小白想开训lora？参数设置看这一篇就够用了
m0_59162248的博客
12-06 3032
前几天通过对真人照片数据进行处理，初步跑出了一个还不错的结果，不过各种参数设置、查看loss等技巧一个都还没学习，今天7点到家，赶紧打开B站朱尼酱长达1个半小时的教程，开始认真学习！今天的推文主要是记录了一下UP说的重点，关键部分也截图了（因为有字幕遮挡，我这暂停键按得好累hhh）Lora训练核心参数主要分为和，接下来就展开讲讲。训练集，原图质量越高，模型质量越好。学习次数。不是越高越好，太少的话模型学不透，太多可能导致模型固化，缺少天马行空的能力。循环次数。
LoRA微调基础知识点
weixin_42924890的博客
09-07 800
LoRA 通过在模型的某些层中添加额外的低秩矩阵，微调过程中，原始模型的大部分参数保持不变，只有这些额外的低秩矩阵被训练。高效微调大语言模型（Large Language Models, LLMs）的一种技术，主要是减少微调大型预训练模型的计算资源和时间。LoRA 只需要更新少量的低秩矩阵，而不是整个模型的权重，降低了微调过程中的计算资源和存储需求。LoRA 通过引入较少的新参数，有助于减少过拟合的风险，从而提高模型在新数据上的泛化能力。时，从而提高了微调的效率同时降低微调所需的资源。
Lora参数用法
翩翩少年
04-10 2228
一、参考资料 LoRa学习：LoRa关键参数（扩频因子，编码率，带宽）的设定及解释https://blog.csdn.net/qq_36389327/article/details/82382299 https://blog.csdn.net/HowieXue/article/details/78028881 详解LoRa关键参数（扩频因子，编码率，带宽）的设定 http://rf.eefocus...
Lora模型训练的参数-学习笔记
weixin_50348308的博客
07-17 4055
刚做完正则化训练的课，有个很惊奇的发现，之后有时间了，再抽空去梳理吧。
项目实训日志（八）-lora参数调研与处理
m0_62500092的博客
05-31 2052
我们使用了lora方法进行微调，这是一些参数，本篇文章主要探讨参数的含义和设置。1. **学习率 (Learning Rate)**：这是优化算法中调整模型参数的速率。学习率越高，参数更新的步长越大，但可能会导致训练不稳定或错过最优解。我们选择这个学习率是因为它在实验中被证明能够有效地平衡收敛速度和训练稳定性。较低的学习率有助于模型在训练过程中更细致地探索参数空间，从而找到更好的局部最优解。2. **训练轮数 (Epochs)**：这是指整个训练数据集被完整地通过模型一次的次数。
LoRa学习＜一＞：基本参数和数据格式
xqw19891201的博客
09-08 4491
一、与硬件相关参数 首先打开LoRa计算工具：SX1272CalculatorUI.exe，该工具主要用于分析和计算LoRa传输参数 设定，以此得出所选方案的空中速率、功耗等特征。 1.1 Spreading Factor（SF扩频因子） 根据数据semtech数据手册，SF值越大，SNR值越理想。但同样的数据量情况下，实际有效数据会减小。实际原因是数据每一位都和扩频因子相乘。例如有一个1 bit需要传送，假如扩频因子有8位 10101010， 这样乘出来每一个bit位都由一个8位的数据来表
大模型lora微调
03-26
### LoRA微调方法概述 对于大规模语言模型（LLMs），传统的全参数微调方式需要大量计算资源和训练数据，这使得其应用受到限制。为了应对这一挑战，低秩适应（LoRA, Low-Rank Adaptation）被提出作为一种高效的微调技术[^2]。 #### LoRA的核心原理 LoRA通过冻结原始模型中的大部分权重，在此基础上引入少量可训练的新参数来实现特定任务的学习目标。具体来说，它利用矩阵分解的思想，将原本高维的权重矩阵替换为两个较小维度矩阵的乘积形式。这种方法不仅显著减少了所需的训练参数数量，还保持了较高的性能表现水平。 以下是基于Keras框架下使用LoRA对Gemma模型进行微调的一个简单实例： ```python import tensorflow as tf from keras.layers import Dense from loralib.layers.dense import LoraDense # 假设这是支持LoRA功能的库 def create_lora_model(input_dim, output_dim, rank=4): inputs = tf.keras.Input(shape=(input_dim,)) # 使用LoRA层替代标准密集连接层 lora_layer = LoraDense(output_dim, r=rank)(inputs) predictions = Dense(output_dim, activation='softmax')(lora_layer) model = tf.keras.Model(inputs=inputs, outputs=predictions) return model model = create_lora_model(input_dim=768, output_dim=10, rank=8) model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"]) ``` 上述代码片段展示了如何构建一个带有LoRA机制的小型神经网络结构，并指定`r=8`作为低秩近似因子大小。实际操作过程中可以根据硬件条件调整此超参值以平衡效率与效果之间的关系。 #### 关键优势总结 - **减少内存占用**: 只需存储新增加的部分小型张量即可完成整个系统的部署工作； - **加速收敛速度**: 更少待优化变量意味着每轮迭代所需时间更短； - **维持良好泛化能力**: 即使只修改一小部分原有架构也能达到接近甚至超越传统FT的结果质量； 尽管如此，值得注意的是并非所有场景都适合采用此类简化策略——某些复杂度较高或者高度定制化的应用场景可能仍然依赖于完整的再训练流程才能获得最佳解决方案。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值