【大模型开发】开源大模型微调：LoRA（Low-Rank Adaptation）技术

于 2025-03-12 16:04:40 发布
阅读量1.1k 收藏 23
点赞数 26
分类专栏： 大模型技术开发与实践 哈佛博后带你玩转机器学习 深度学习 文章标签： Lora Lora微调 大模型微调 大模型开发 机器学习 模型调优 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l35633/article/details/146207578
版权

LoRA（Low-Rank Adaptation）微调技术详解与实战

LoRA 是一种高效的参数微调技术，旨在解决大规模预训练模型全参数微调时计算和存储开销过大的问题。通过在冻结预训练模型权重的基础上，仅引入两个低秩矩阵进行增量更新，LoRA 实现了对模型进行轻量级定制，既能大幅降低微调参数量，又保持了优异的任务性能。

一、LoRA 技术详解

1.1 核心思想

  • 冻结预训练权重
    预训练模型中的所有权重 W 均保持不变，避免了全模型更新带来的资源消耗。

  • 引入低秩矩阵进行微调
    在关键层（通常为 Transformer 的注意力层）中引入两个可训练低秩矩阵 A 和 B，对原始权重进行微调。公式表示为：

  • 推理时合并权重
    在推理过程中，可以直接计算 W′=W+BA，因此不会引入额外的计算成本。

1.2 优势与特点

  • 参数高效
    仅更新极少量参数（通常仅占总参数的百分之几），大大降低内存和存储需求。

  • 扩展性强
    支持在同一基础模型上为不同任务加载独立的 LoRA 模块，实现多任务、多领域的高效切换。

  • 易于部署
    推理时直接将低秩矩阵与冻结权重相加，不会引入额外推理延迟，适合边缘设备和大规模部署。

  • 兼容性好
    可与其他参数高效微调技术（如 Adapters、Prompt Tuning）结合使用，进一步提升应用灵活性。

二、应用场景

LoRA 技术适用于各种需要微调大模型的场景，例如：

  • 自然语言处理
    文本分类、问答系统、对话生成、机器翻译、文本摘要等任务。

  • 计算机视觉
    图像分类、目标检测、图像生成与风格迁移等领域也可采用类似思路（针对 Vision Transformer 等架构）。

  • 多任务与跨领域微调
    在同一预训练模型上，为不同任务或语言加载各自的 LoRA 模块，便于灵活切换而无需重复存储整个模型。

  • 边缘计算和资源受限环境
    在单 GPU 或边缘设备上进行高效微调与部署，显著降低硬件要求。

三、代码案例：基于 Hugging Face PEFT 的 LoRA 微调

以下代码示例展示了如何使用 LoRA 技术对预训练的 BERT 模型进行情感分类任务的微调。示例采用 GLUE 数据集中的 SST-2 任务，并利用 Hugging Face 的 transformers 和 peft 库。

3.1 环境准备

确保安装相关依赖：

pip install transformers peft datasets accelerate torch

3.2 加载数据集与模型

from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# 加载 SST-2 数据集（GLUE任务）
dataset = load_dataset("glue", "sst2")
train_dataset = dataset["train"]
eval_dataset = dataset["validation"]

# 加载预训练 BERT 分词器和模型
model_name = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)

# 数据预处理：分词、截断、填充
def preprocess_function(examples):
    return tokenizer(examples["sentence"], truncation=True, padding="max_length", max_length=128)

train_dataset = train_dataset.map(preprocess_function, batched=True)
eval_dataset = eval_dataset.map(preprocess_function, batched=True)

train_dataset.set_format("torch", columns=["input_ids", "attention_mask", "label"])
eval_dataset.set_format("torch", columns=["input_ids", "attention_mask", "label"])

说明：

  • 利用 load_dataset 加载公开的 SST-2 数据集，并对文本进行预处理，使其适应 BERT 模型输入要求。

3.3 配置并应用 LoRA

from peft import LoraConfig, get_peft_model, TaskType

# 定义 LoRA 参数配置
lora_config = LoraConfig(
    task_type=TaskType.SEQ_CLS,       # 任务类型为序列分类
    inference_mode=False,             # 训练模式
    r=8,                              # 低秩矩阵的秩，您可以根据需求调整此值
    lora_alpha=16,                    # 缩放系数
    lora_dropout=0.1,                 # Dropout 防止过拟合
    target_modules=["query", "value"] # 在 Attention 层中的 query 和 value 模块上应用 LoRA
)

# 将 LoRA 模块添加到模型中
model = get_peft_model(model, lora_config)

# 输出模型中可训练参数的比例（应仅为 LoRA 参数）
model.print_trainable_parameters()

说明：

  • 使用 LoraConfig 指定 LoRA 参数，包括低秩维度 r、缩放系数 lora_alpha、Dropout 率以及目标模块。
  • get_peft_model 会将 LoRA 模块嵌入到原始模型中，同时冻结主干参数。
  • 调用 print_trainable_parameters() 可验证只有 LoRA 参数在训练过程中更新。

3.4 设置训练参数并启动训练

from transformers import TrainingArguments, Trainer

# 定义训练超参数
training_args = TrainingArguments(
    output_dir="./lora_bert_sst2",
    evaluation_strategy="epoch",
    save_strategy="epoch",
    learning_rate=2e-4,               # 由于参数量较少，可采用较大学习率
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    num_train_epochs=3,
    logging_steps=100,
    save_total_limit=1,
    load_best_model_at_end=True,
)

# 初始化 Trainer 对象
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    tokenizer=tokenizer
)

# 启动微调训练
trainer.train()

说明：

  • 通过 TrainingArguments 设置训练输出目录、评估策略、学习率、批次大小及训练轮数等参数。
  • 使用 Hugging Face Trainer 封装训练过程，确保仅微调 LoRA 模块。
  • 调用 trainer.train() 后开始微调训练。

3.5 模型保存与加载

# 保存 LoRA 适配器参数
model.save_pretrained("./lora_adapter")

# 加载时先加载基础模型，再加载适配器参数
from peft import PeftModel
base_model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)
lora_model = PeftModel.from_pretrained(base_model, "./lora_adapter")

说明：

  • 训练完成后，仅保存 LoRA 模块的参数文件，便于后续快速加载与部署。
  • 加载时，通过 PeftModel.from_pretrained 将预训练模型与保存的 LoRA 参数合并，恢复微调效果。

四、修改与优化建议

  1. 更换底座模型

    • 根据任务需求，可将 bert-base-uncased 替换为其他预训练模型，如 roberta-base、gpt-2、t5-small、llama-7b 等。
    • 修改方式仅需更改 model_name 字符串即可： 
      model_name = "roberta-base"

  2. 调整 LoRA 参数

    • 低秩维度（r）：尝试不同的值（例如 4、8、16），以平衡参数量和模型性能。
    • lora_alpha：可调节缩放系数以影响训练稳定性与收敛速度。
    • target_modules：根据具体模型结构，调整在注意力层或前馈网络中的应用范围，例如可选 "query", "key", "value" 或其他模块。

  3. 混合微调策略

    • 部分层可采用全参数微调，部分层使用 LoRA 微调，从而实现更精细的参数控制。
    • 这种策略需要手动解冻部分层的参数，并通过分组优化器实现混合训练。

  4. 优化训练策略

    • 结合早停（early stopping）、学习率衰减（learning rate scheduler）和梯度裁剪（gradient clipping）以提升训练效果。
    • 根据验证集表现，动态调整训练轮数和学习率。

  5. 与其他 PEFT 方法结合

    • LoRA 可与 Prompt Tuning、Adapters 等技术联合使用，针对不同任务采用组合策略，提高整体效果。

  6. 硬件资源配置

    • 如果使用多 GPU 或分布式训练框架（如 DeepSpeed、Hugging Face Accelerate），可进一步缩短训练时间并提高模型性能。

五、总结

  • LoRA 技术通过引入低秩矩阵实现对预训练模型的轻量级微调，极大地降低了微调参数量和计算开销。
  • 本文通过详细的代码示例展示了如何在文本分类任务中应用 LoRA，并对各步骤进行了详细解释。
  • 同时，针对实际项目需求，给出了更换底座模型、调整参数、混合微调以及训练策略优化等建议，帮助您根据具体场景进行自定义和优化。

掌握 LoRA 技术后，您可以在有限资源下快速定制大模型，实现多任务、多领域的智能应用，为您的项目和产品创新提供坚实技术支持。

【参考资料】

【哈佛博后带小白玩转机器学习】 哔哩哔哩_bilibili

总课时超400+，时长75+小时

lora:low-rank adaption of large language models
liguandong
03-10 2918
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机多卡-RTX 4090双卡（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 1万+
使用Axolotl高效微调qwen2-7b-instruct
大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning 并训练自己的数据集
weixin_38353277的博客
03-20 6135
大模型主流微调训练方法总结 LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning
【大模型-- LoRA微调原理及代码演示】
weixin_45463503的博客
04-18 1518
LoRA（Layerwise Relevance Analysis，层次化相关性分析）是一种参数高效微调（PEFT）方法，它的原理基于分析和调整模型中的参数，以便在不需要微调所有参数的情况下，有效地适应特定的下游任务。LoRA的核心思想是通过分析模型的中间层（特别是顶部的层）来确定哪些参数对于特定任务是最重要的，然后仅仅微调这些参数，而不是整个模型。通过仅微调模型中最重要的参数，LoRA能够在保持高性能的同时，显著降低模型训练和推理的计算和存储成本。：在选定的参数上进行训练，并评估模型在下游任务上的性能。
大语言模型Lora参数微调过程（附完整代码）
qq-1343330453
01-09 4414
大语言模型微调过程
lora大模型微调
weixin_43693446的博客
07-26 197
基于Lora的大模型微调
详解大模型微调方法LoRA Adapter(内附实现代码)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-27 1万+
以GPT-3 175B参数量为例，过大的参数量在Finetune的时候代价很大，Adapter适配器方法是进行大模型微调的方法之一。本文详细介绍了大模型微调方法LoRA和代码实现
大模型微调原理与代码实战案例(四)：LoRA
2301_78285120的博客
09-05 7570
本文对 LoRA 基本原理进行了简述；同时，讲解了 LoRA 进行模型训练及推理。下文将对 IA3 技术进行实战。技术交流群完整版代码在公众号：机器学习社区，回复：lora，即可获取。建了实战技术交流群！mlc2060。研究方向 +学校/公司+知乎，即可。然后就可以拉你进群了。前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-01 3942
使用ms-swift高效微调qwen2-7b-instruct
lora训练模型-lora-scripts-main.zip
08-13
标题中的“lora训练模型-lora-scripts-main.zip”指的是一个包含LoRA（Low-Rank Adaptation）训练模型的压缩文件。LoRA是一种针对预训练语言模型进行微调的技术，它通过引入低秩矩阵来适应特定任务，从而在不显著...
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-21 8291
使用LLaMA-Factory高效微调qwen2-7b-instruct
如何微调出自己的大模型——LoRA原理解析
sdksdf的博客
06-05 1374
上一篇文章，我们已经讲了隐扩散模型——Stable Diffusion生成大模型。这种大模型，参数量及其之大。你没有足够的算力资源，就只能够使用人家已经训练好的大模型。既然没有办法训练属于自己的模型，那我们就想，是否可以在别人已经训练好的大模型的基础上，用我们自己的训练数据，对模型进行微调，从而得到我们想要的模型。github.com[如何微调出属于自己大模型？——LORA原理解析-哔哩哔哩]
大语言模型应用指南：LoRA高效微调
AI大模型应用之禅
06-20 1262
大语言模型应用指南：LoRA高效微调 1.背景介绍 在人工智能和自然语言处理领域，大语言模型（Large Language Models, LLMs）如GPT-3、BERT等已经展示了其强大的能力。然而，这些模型的训练和微调过程通常需要大量的计算资源和时间。为了提高微调效率，LoRA（L
大模型微调技术
宁少的博客
02-21 1355
p-tuning v2 在多种任务上下进行微调，之后对于不同的任务如token classification与sentence classification添加了随机初始化的任务头（AutoModelForTokenClassification、AutoModelForSequenceClassification），而非使用自然语言的方式，可以说V2是集大成者。手动尝试最优的提示无异于大海捞针，于是便有了自动离散提示搜索的方法（作图），但提示是离散的，神经网络是连续的，所以寻找的最优提示可能是次优的。
【大模型】Lora
Dong_ZH的博客
03-11 2745
Low-Rank Adaptation（低秩适应）是一种针对大型语言模型（如GPT-3等）在下游任务上进行的参数效率优化技术。这种方法的核心思想是，在模型适应下游任务的过程中，不是更新全部的模型参数，而是仅更新一部分参数，以此来减少需要训练的参数量，提高训练效率，并减少内存消耗。具体而言，低秩适应通过矩阵分解的技术，将大型语言模型中的权重矩阵分解为两个更小的矩阵的乘积，这两个小矩阵是可训练的。在训练过程中，只训练这两个小矩阵，而固定住原始预训练模型的权重。
一文读懂：LoRA实现大模型LLM微调
热门推荐
weixin_42010722的博客
06-08 1万+
在深度学习中，权重矩阵通常具有完整秩，这意味着权重矩阵的行或列之间没有线性相关关系，也就是说，每个权重在模型中承担了不同的作用，没有冗余。权重矩阵具有完整秩的好处是，模型可以通过学习到的权重进行准确的预测和分类。通过使用低秩矩阵，我们可以降低参数的数量，减少计算和存储的开销，并且仍然保留了大部分原始权重矩阵的关键信息。因此，虽然预训练模型的权重在预训练任务中具有完整秩，但LoRA的作者指出，当预训练的大型语言模型适应新任务时，其固有维度很低，这是根据Aghajanyan等人的研究（2020）得出的。
LoRA微调
m0_69109706的博客
06-24 1046
它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入Transformer架构的每一层，从而大大减少了下游任务的可训练参数数量。LoRA 是一个非常重要的可调优结构，简单来说，就是增加了一个额外可训练部分，比如原来的 Linear 的矩阵是 MxN 维，增加一个 LoRA，该 LoRA 会包含两个参数量较少的矩阵：Mxd, dxN，这两个矩阵相乘后仍然是 MxN 维的，训练时原 MxN 矩阵冻结，只训练 LoRA 的两个矩阵，参数量就会大大减少。训练过程中冻结参数𝑊0，仅训练A和B中的参数。
LoRA微调三步骤：以大语言模型MT5为例
2301_82275412的博客
05-17 1644
LoRA微调三步骤是：Step-1：观察&测试原模型(如MT5)的input和output格式。Step-2：准备Training data，建立自己的Dataset类别，并拿原模型实际训练。Step-3：将LoRA外挂到MT5-Small，并进行协同训练及测试。在本篇文章中，将以MT5-small预训练大模型为例，并以Python源码(Source Code)来说明之。简介LoRA当今大家非常关心于LLM大模型的巨大参数量，带来的很高的训练成本，因而限制了诸多下游任务的应用。
lora_alpha
最新发布
01-14
### 关于 LoRA Alpha 参数的理解 在低秩适应（LoRA）技术中，Alpha 参数用于控制缩放因子，该因子影响着低秩矩阵分解后的权重更新幅度。具体来说，在微调大型语言模型时，引入 Alpha 参数可以更灵活地调整新增参数的影响程度。 当应用 LoRA 技术进行模型优化时，Alpha 参数允许使用者指定一个放大系数来调节实际应用于模型中的增量变化量。这一机制有助于平衡原始预训练模型与新学到的知识之间的关系[^1]。 对于具体的实现细节而言，通常情况下会定义如下形式： ```python import torch.nn as nn class LowRankAdapter(nn.Module): def __init__(self, in_features, out_features, rank=4, alpha=8): super(LowRankAdapter, self).__init__() self.W_A = nn.Parameter(torch.randn(rank, in_features)) self.W_B = nn.Parameter(torch.randn(out_features, rank)) self.alpha = alpha def forward(self, x): adapter_output = self.W_B @ (self.W_A * self.alpha) return adapter_output ``` 在这个例子中，`alpha` 就是用来乘以 `W_A` 和 `W_B` 矩阵相乘的结果，以此达到对整个路径上的增益效果进行调控的目的。通过这种方式，即使是在较低维度上操作也能有效传递重要信息并保持良好的泛化能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值