【7种大模型微调方法】1分钟掌握大模型微调面试知识点

微调包含全量微调和 PEFT，即参数高效微调，下面介绍的都是PEFT方法。
省流节时：

• Adapter Tuning：插入小型适配器模块进行高效微调。
• LoRA：使用低秩矩阵减少计算和存储开销。
• QLoRA：结合了（LoRA）和量化技术
• Prefix-Tuning：在输入序列前添加可训练的前缀。
• Prompt Tuning：优化输入提示以引导模型生成所需输出。
• P-tuning：优化提示嵌入向量来提高模型性能。
• P-tuning v2：改进的 P-tuning 方法，提供更好的性能提升。
  
  好，下面内容不用看了

1. Adapter Tuning

Adapter Tuning 是一种微调方法，通过在预训练模型的不同层之间插入小型“适配器”模块来进行微调。这些适配器模块在训练过程中会被更新，而原始模型的权重保持不变。

• 适配器模块通常包括少量的全连接层，插入在模型的各个层之间或后面。
• 在微调过程中，只更新适配器的参数，而保持原始模型的权重不变。

2. LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation) 是一种通过低秩矩阵对模型参数进行微调的方法。它通过将模型的权重矩阵分解为两个低秩矩阵来减少计算和存储开销。

如何在大模型中应用 LoRA

1. 模型分解：将模型中的权重矩阵 ( W ) 分解为低秩矩阵 ( A ) 和 ( B ) 的乘积，即 ( W = W_0 + A B )，其中 ( W_0 ) 是原始权重矩阵，( A ) 和 ( B ) 是需要训练的低秩矩阵。

2. 微调：在微调过程中，保持原始权重矩阵 ( W_0 ) 不变，只更新低秩矩阵 ( A ) 和 ( B )。这样，你只需要优化少量的参数。

3. 应用和测试：对经过 LoRA 微调的模型进行应用和测试，确保模型能够有效地完成目标任务。可以与标准的微调方法进行比较，以验证 LoRA 的效果。

实际实现

import torch
import torch.nn as nn

class LoRA(nn.Module):
    def __init__(self, original_layer, rank):
        super(LoRA, self).__init__()
        self.original_layer = original_layer
        self.rank = rank
        self.A = nn.Parameter(torch.randn(original_layer.weight.size(0), rank))
        self.B = nn.Parameter(torch.randn(rank, original_layer.weight.size(1)))
    
    def forward(self, x):
        return self.original_layer(x) + torch.matmul(torch.matmul(x, self.A), self.B)

# Example usage
original_layer = nn.Linear(512, 512)
lora_layer = LoRA(original_layer, rank=10)

input_tensor = torch.randn(10, 512)
output = lora_layer(input_tensor)

在这个示例中，我们将一个线性层（original_layer）用 LoRA 进行改造，增加了两个低秩矩阵 A 和 B，并将它们应用于模型的前向传播中。

LoRA优势

减少计算和存储开销：
低秩矩阵的参数量远少于原始高维权重矩阵，因此可以显著减少计算和存储需求。这使得在大规模语言模型上进行微调变得更加高效。

提高训练速度：
由于需要更新的参数数量减少，训练速度通常会加快。LoRA 使得大规模模型的微调变得更加可行。

适应不同任务：
LoRA 可以有效地适应不同的任务或数据分布，提供了一种高效的方式来进行模型的迁移学习或领域适应。

QLoRA (Quantized Low-Rank Adaptation) 是一种针对大规模语言模型的高效微调方法，它结合了低秩适应（LoRA）和量化（Quantization）技术，以提高微调过程的效率和降低计算成本。以下是对 QLoRA 的详细解释：

3. QLoRA 的工作原理

1. 模型分解：将大规模模型的权重矩阵 ( W ) 分解为低秩矩阵 ( A ) 和 ( B ) 的乘积，即 ( W = W_0 + A B )，其中 ( W_0 ) 是固定的预训练权重，( A ) 和 ( B ) 是需要训练的低秩矩阵。

2. 量化： 对低秩矩阵 ( A ) 和 ( B ) 进行量化，将其从高精度浮点数转换为低精度表示（如 8-bit 整数）。这种量化可以减少内存占用和计算开销。

3. 微调： 在训练过程中，仅微调量化后的低秩矩阵 ( A ) 和 ( B )。模型的其他部分保持不变，从而降低了计算复杂度。

4. 解量化： 在模型推理阶段，将量化的低秩矩阵解量化为高精度形式，以确保模型的输出质量。

4. Prefix-Tuning

Prefix-Tuning 是一种在模型的输入序列前添加可训练的前缀（prefix）进行微调的方法。这个前缀在训练过程中会被优化，以引导模型生成期望的输出。

• 在输入序列前添加一个可训练的前缀（通常是嵌入向量）。
• 在训练过程中优化这些前缀向量，使其引导模型生成目标任务的正确输出。

5. Prompt Tuning

Prompt Tuning 是一种通过优化输入提示（prompt）来进行模型微调的方法。提示通常是一些额外的文本或模板，用于引导模型生成所需的输出。

• 设计并优化一个提示（通常是文本片段），将其与输入一起提供给模型。
• 在训练过程中，仅优化提示参数，而保持模型的其他部分不变。

6. P-tuning

P-tuning 是一种基于提示的微调方法，通过优化输入提示的嵌入向量来提高模型的性能。

• 将提示表示为嵌入向量，并将这些向量与模型的输入一起提供。
• 在训练过程中优化提示嵌入向量。

7. P-tuning v2

P-tuning v2 是 P-tuning 的改进版本，进一步增强了提示优化的效果。它通过改进的提示生成方法和训练策略来提升模型的性能。

• 引入改进的提示生成策略，例如使用更多的上下文信息或优化算法。
• 在训练过程中，通过更新提示向量来提升模型性能。