LoRA微调模型结构可训参数和配置详解

LoRA微调模型结构可训参数和配置详解

背景

上一篇主要整理了一些关于LoRA的知识点总结，本文则主要从以下几方面继续学习分析LoRA微调策略。上篇 LoRA常见知识点。

测试内容和代码

1、构建一个简单的两层线性网络，加relu激活函数，在第一层Linear中使用LoRA策略，打印看下模型结构。复习Lora在第一层Lnear网络的结构，即在第一层旁增加lora策略。

2、打印原始网络结构中可训练的参数和LoRA策略下的参数量。

3、LoraConfig类的一些参数解释。

整体代码如下：

import torch
import torch.nn as nn
from peft import get_peft_model, LoraConfig


# 定义基础模型
class SimpleMLP(nn.Module):
    def __init__(self):
        super(SimpleMLP, self).__init__()
        self.fc1 = nn.Linear(10, 20)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(20, 2)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

def count_parameters(model):
    """计算可训练的参数"""
    for name, param in model.named_parameters():
        if param.requires_grad:
            # 打印具体的参数名称和形状
            print(f"{name}: {param.size()}")
    # 可训练参数总量
    return sum(p.numel() for p in model.parameters() if p.requires_grad)


model = SimpleMLP()
print(f"原始的网络结构：\n {model}")
print(f"原始模型的参数量：{count_parameters(model)}")

# Lora 配置
config = LoraConfig(
    r=4,
    lora_alpha=16,
    lora_dropout=0.1,
    target_modules=["fc1"],
)

# Lora策略
model = get_peft_model(model, config)

print(f"Lora微调的网络结构：\n {model}")
print(f"增加Lora策略的，模型参数量：{count_parameters(model)}")

网络、参数和配置分析

1、网络结构如下：可以看出在fc1旁增加了两个没有偏置的额外矩阵lora_A和lora_B

原始的网络结构：
 SimpleMLP(
  (fc1): Linear(in_features=10, out_features=20, bias=True)
  (relu): ReLU()
  (fc2): Linear(in_features=20, out_features=2, bias=True)
)
Lora微调的网络结构：
 PeftModel(
  (base_model): LoraModel(
    (model): SimpleMLP(
      (fc1): Linear(
        in_features=10, out_features=20, bias=True
        (lora_dropout): ModuleDict(
          (default): Dropout(p=0.1, inplace=False)
        )
        (lora_A): ModuleDict(
          (default): Linear(in_features=10, out_features=4, bias=False)
        )
        (lora_B): ModuleDict(
          (default): Linear(in_features=4, out_features=20, bias=False)
        )
        (lora_embedding_A): ParameterDict()
        (lora_embedding_B): ParameterDict()
      )
      (relu): ReLU()
      (fc2): Linear(in_features=20, out_features=2, bias=True)
    )
  )
)

2、参数量如下：

原始模型可训练参数量。
$计算方式：权重+偏置20\times 10+20+2\times 20+2=262$

fc1.weight: torch.Size([20, 10])
fc1.bias: torch.Size([20])
fc2.weight: torch.Size([2, 20])
fc2.bias: torch.Size([2])
原始模型的参数量：262

LoRA策略下始模型可训练参数，在已有的预训练模型中，LoRA会冻结其他所有参数，微调target_modules列表中指定的某些层的参数量。由于此例中指定target_modules=[“fc1”]，所以LoRA策略下整个模型可训练参数量为
$4\times 10+20\times 4=120(网络结构中偏置为False)$

base_model.model.fc1.lora_A.default.weight: torch.Size([4, 10])
base_model.model.fc1.lora_B.default.weight: torch.Size([20, 4])
增加Lora策略的，模型参数量：120

3、LoraConfig类初始化参数说明：

config = LoraConfig(
    r=4,
    lora_alpha=16,
    lora_dropout=0.1,
    target_modules=["fc1"],
)

核心超参数:

• r=4 LoRA模型中新增加的权重矩阵的秩。

• lora_alpha=16 控制LoRA模块中缩放因子的大小，default=8 （peft==0.5.0）。

• lora_dropout=0.1 LoRA模块中的dropout。

lora_alpha参数解释如下：
$$\begin{gathered} 假设原始权重矩阵为\mathbf{W}，LoRA引入的低秩矩阵为\mathbf{A}和\mathbf{B}，则新的权重矩阵{\mathbf{W}}^{\prime }可以表示为： \\ {\mathbf{W}}^{\prime }=\mathbf{W}+\alpha \cdot \mathbf{AB} \\ 其中： \\ \mathbf{W}是原始权重矩阵 \\ \mathbf{A}和\mathbf{B}是LoRA额外权重矩阵 \\ \alpha 是缩放因子，即lora\_alpha \end{gathered}$$

至于为什么缩放因子不是一个0到1的小数？

如果lora_alpha设置为一个较小的值（如介于 0 到 1 之间），那么缩放因子$\alpha$也会非常小，这会导致 LoRA 更新矩阵的影响变得非常微弱，从而可能无法有效调整模型。

留个问题

如果说LoraConfig配置是这样的：

config = LoraConfig(
    r=4,
    lora_alpha=16,
    lora_dropout=0.1,
    target_modules=["fc1", "fc2"],
)
# Lora技术
model = get_peft_model(model, config)
print(f"Lora微调的网络结构：\n {model}")
print(f"增加Lora策略的，模型参数量：{count_parameters(model)}")

打印结果如下：

base_model.model.fc1.lora_A.default.weight: torch.Size([4, 10])
base_model.model.fc1.lora_B.default.weight: torch.Size([20, 4])
base_model.model.fc2.lora_A.default.weight: torch.Size([4, 20])
base_model.model.fc2.lora_B.default.weight: torch.Size([2, 4])

可以发现，fc1和gc2都是用的同一个超参r=4，而且dropout也都是0.1。

如何修改LoraConfig使得fc1和fc2中的超参不同呢？

计划放在LoRA的实战训练和推理中解决这个问题，到时候再来比较一下两种策略差异。