HuggingFace PEFT项目中的LoRA类方法实战指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_01038/article/details/148375003

HuggingFace PEFT项目中的LoRA类方法实战指南

peft 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning. 项目地址: https://gitcode.com/gh_mirrors/pe/peft

前言

在大型模型微调领域，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术正变得越来越重要。本文将深入探讨HuggingFace PEFT项目中基于LoRA（Low-Rank Adaptation）的一系列方法，包括标准LoRA及其变种LoHa、LoKr和AdaLoRA，并通过一个实际的图像分类任务展示如何使用这些方法。

LoRA方法概述

核心思想

LoRA类方法的核心理念是通过低秩分解（Low-Rank Decomposition）技术，在原始模型的权重矩阵上添加可训练的小矩阵，而非直接微调整个大型模型。这种方法显著减少了需要训练的参数数量，从而降低了内存消耗和计算成本。

主要优势

参数高效：通常只需训练原模型参数的0.1%-1%
内存友好：大幅降低GPU内存需求
训练快速：收敛速度比全参数微调更快
模块化：可针对特定模块进行适配

准备工作

安装依赖

pip install -q peft transformers datasets

数据集准备

我们使用Food-101数据集，包含101类食物图片。首先加载数据集并进行预处理：

from datasets import load_dataset

ds = load_dataset("food101")

# 创建标签映射
labels = ds["train"].features["label"].names
label2id = {label: i for i, label in enumerate(labels)}
id2label = {i: label for i, label in enumerate(labels)}

图像预处理

使用ViT模型的图像处理器进行标准化处理：

from transformers import AutoImageProcessor

image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224-in21k")

# 定义训练和验证的数据增强
train_transforms = Compose([
    RandomResizedCrop(image_processor.size["height"]),
    RandomHorizontalFlip(),
    ToTensor(),
    Normalize(image_processor.image_mean, image_processor.image_std)
])

模型配置

基础模型

加载预训练的ViT模型作为基础模型：

from transformers import AutoModelForImageClassification

model = AutoModelForImageClassification.from_pretrained(
    "google/vit-base-patch16-224-in21k",
    label2id=label2id,
    id2label=id2label,
    ignore_mismatched_sizes=True
)

PEFT方法详解

1. 标准LoRA方法

LoRA将权重更新矩阵分解为两个低秩矩阵的乘积：

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16,                  # 低秩矩阵的秩
    lora_alpha=16,        # 缩放因子
    target_modules=["query", "value"],  # 目标模块
    lora_dropout=0.1,     # Dropout率
    bias="none",          # 是否训练偏置
    modules_to_save=["classifier"]  # 额外训练的分类器
)
peft_model = get_peft_model(model, config)

特点：

最简单的LoRA实现
参数效率高
适合大多数场景

2. LoHa方法

LoHa（Low-Rank Hadamard Product）使用Hadamard乘积组合四个小矩阵：

from peft import LoHaConfig

config = LoHaConfig(
    r=16,
    alpha=16,
    target_modules=["query", "value"],
    module_dropout=0.1,
    modules_to_save=["classifier"]
)

特点：

保持相同参数量的情况下获得更高秩
理论上表达能力更强
计算开销略大于标准LoRA

3. LoKr方法

LoKr（Low-Rank Kronecker Product）使用Kronecker乘积构建块矩阵：

from peft import LoKrConfig

config = LoKrConfig(
    r=16,
    alpha=16,
    target_modules=["query", "value"],
    module_dropout=0.1,
    modules_to_save=["classifier"]
)

特点：

能更好地保持原始矩阵的秩
参数效率极高
适合资源极度受限的场景

4. AdaLoRA方法

AdaLoRA（Adaptive Low-Rank Adaptation）动态分配参数预算：

from peft import AdaLoraConfig

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"]
)

特点：

动态调整各模块的参数分配
对重要模块分配更多参数
需要自定义训练循环

训练配置

使用Transformers的Trainer进行训练：

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./output",
    per_device_train_batch_size=128,
    learning_rate=5e-3,
    num_train_epochs=5,
    fp16=True,
    evaluation_strategy="epoch",
    save_strategy="epoch"
)

trainer = Trainer(
    model=peft_model,
    args=training_args,
    train_dataset=train_ds,
    eval_dataset=val_ds,
    data_collator=collate_fn
)

trainer.train()

模型推理

训练完成后，可以轻松加载模型进行推理：

from peft import PeftModel

# 加载基础模型
model = AutoModelForImageClassification.from_pretrained("google/vit-base-patch16-224-in21k")

# 加载PEFT适配器
peft_model = PeftModel.from_pretrained(model, "your-username/your-peft-model")

# 进行推理
with torch.no_grad():
    outputs = peft_model(**inputs)
    predictions = outputs.logits.argmax(-1)

性能对比

下表比较了不同PEFT方法的参数效率：

| 方法 | 可训练参数 | 总参数 | 可训练占比 | |---------|------------|----------|------------| | 全参数 | 86M | 86M | 100% | | LoRA | 0.67M | 86.54M | 0.77% | | LoHa | 1.26M | 87.13M | 1.44% | | LoKr | 0.12M | 87.17M | 0.13% | | AdaLoRA | 0.52M | 87.61M | 0.59% |