简单聊一聊大模型微调技术-LoRA

简单聊一聊大模型微调技术-LoRA

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-CSDN博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

LoRA（Low-Rank Adaptation）模型是一种用于减少深度学习模型训练中参数数量和计算资源消耗的技术。它最早是在多头注意力机制中提出的，尤其是用于大模型的微调（fine-tuning）。LoRA 的主要思想是通过引入低秩分解（low-rank decomposition），用少量参数来逼近和微调模型，从而避免直接调整整个大模型的权重。

LoRA的核心思想

LoRA 的主要贡献在于它减少了在微调大模型时需要更新的参数数量。传统的微调方法通常会更新整个模型的参数，这在处理大规模预训练模型（如 GPT-3、BERT）时非常耗费资源。LoRA 通过插入低秩矩阵到模型的某些权重矩阵中，仅更新这些低秩矩阵，而不修改原模型权重。

其基本流程如下：

1. 假设大模型的某个权重矩阵为 ( W )，尺寸为 ( d \times d )。
2. 将这个权重矩阵表示为两个低秩矩阵的乘积 ( W + BA )，其中 ( B ) 和 ( A ) 的尺寸分别为 ( d \times r ) 和 ( r \times d )，而 ( r \ll d )，即低秩矩阵分解。
3. 在微调过程中，保持 ( W ) 不变，只更新 ( B ) 和 ( A )。

这种方式极大地减少了需要训练的参数量，同时保持了微调的效果。

LoRA 的应用场景

LoRA 模型非常适合在以下场景中使用：

1. 大规模预训练语言模型的微调

   • 在对像 GPT、BERT 这样的语言模型进行微调时，LoRA 可以通过更新低秩矩阵来减少需要调整的参数数量。这样可以显著降低显存消耗以及计算资源的需求，特别适合内存有限的环境。
   • 例如，微调 GPT-3 时，通过 LoRA 可以仅调整大约 0.1% 的参数，而保持和全量微调相近的性能。

2. 跨领域迁移学习

   • 在某些跨领域任务中，比如从自然语言理解任务迁移到医学领域的文本分析，LoRA 可以快速适应新的领域数据，而不需要对整个预训练模型重新微调。

3. 低资源设备上的部署

   • LoRA 使得在资源受限的设备（如手机、嵌入式设备）上部署大规模语言模型变得更容易，因为只需要存储和加载小规模的低秩矩阵，而不需要加载完整的模型权重。

4. 多任务学习

   • 由于不同任务可能需要不同的微调参数，LoRA 可以在多任务学习场景下为每个任务引入独立的低秩矩阵，避免为每个任务训练独立的完整模型。

具体案例：微调BERT模型的LoRA

假设我们有一个预训练的 BERT 模型，并且我们想要使用它来完成情感分析任务。使用 LoRA 的步骤如下：

1. 加载预训练的 BERT 模型。
2. 确定要微调的权重矩阵，通常是注意力机制中的 Q、K、V 矩阵。
3. 将这些矩阵分解为低秩矩阵，并插入到 BERT 模型中。
4. 冻结原始的 BERT 模型参数，仅训练低秩矩阵。
5. 用训练好的低秩矩阵进行推理。

代码示例（伪代码）：

import torch
from transformers import BertModel

# 加载预训练的 BERT 模型
model = BertModel.from_pretrained('bert-base-uncased')

# 假设我们要对注意力中的权重进行 LoRA 微调
class LoRALayer(torch.nn.Module):
    def __init__(self, original_layer, r=4):
        super().__init__()
        self.original_layer = original_layer
        d = original_layer.weight.size(0)  # 获取原始层的维度
        self.A = torch.nn.Parameter(torch.randn(d, r))  # A 矩阵
        self.B = torch.nn.Parameter(torch.randn(r, d))  # B 矩阵

    def forward(self, x):
        return self.original_layer(x) + x @ self.A @ self.B  # LoRA 变换

# 为 BERT 模型中的特定层引入 LoRA
for name, param in model.named_parameters():
    if 'attention' in name:  # 例如对注意力部分微调
        param.requires_grad = False  # 冻结原始模型的参数
        # 插入 LoRA 层
        model._modules[name] = LoRALayer(model._modules[name])

# 然后继续进行训练，只调整 LoRA 层的参数

LoRA 的优势

1. 大幅减少参数量：相比于传统的微调方法，LoRA 可以只更新 1% 甚至更少的参数，显著降低了模型的训练开销。
2. 保持模型能力：虽然更新的参数较少，但通过低秩分解，模型在下游任务中的性能与全量微调相差不大。
3. 灵活性高：LoRA 可以适用于几乎所有的 Transformer 架构，非常灵活。

总结来说，LoRA 提供了一种有效且计算成本较低的方式来微调大模型，特别适合于大模型的扩展应用，比如在低资源环境下部署或快速适应新的任务和领域。