大模型训练与微调（5）——微调方法总结 与 选择建议

大模型微调（Fine-tuning）是在预训练模型（如BERT、GPT、T5等）的基础上，通过调整模型参数使其适应特定任务或领域的关键技术。根据调整参数的范围、效率和策略，微调方法可分为以下几类：

---

一、全参数微调（Full Fine-tuning）

原理：更新预训练模型的所有参数，使其适应目标任务。
优点：理论上性能最佳，模型能充分学习任务特性。
缺点：计算成本高，显存占用大，容易过拟合小数据。
适用场景：数据量充足、计算资源丰富时（如企业级应用）。

---

二、参数高效微调（Parameter-Efficient Fine-tuning, PEFT）

通过仅调整少量参数或添加轻量化模块来降低计算成本，主要包括以下方法：

1. Adapter Tuning

• 原理：在Transformer层的Feed-Forward Network后插入小型适配层（Adapter），仅训练这些新增参数。
• 结构：Adapter通常包含两个全连接层和激活函数，通过残差连接保留原始特征。
• 优点：参数少，适配不同任务时仅需替换Adapter。
• 缺点：增加推理延迟，需调整模型结构。
• 代表工作：Houlsby et al. (2019) 提出的Adapter模块。

2. LoRA（Low-Rank Adaptation）

• 原理：对模型权重矩阵进行低秩分解，引入可训练的低秩矩阵（如 $W=W_0+BA$，其中 $B$和 $A$ 为低秩矩阵），冻结原始权重 $W_0$。
• 优点：几乎不增加推理耗时，适用于大模型（如LLaMA）。
• 缺点：低秩矩阵的秩需手动选择。
• 变体：QLoRA（量化+LoRA）、AdaLoRA（自适应秩分配）。

3. Prefix Tuning / Prompt Tuning

• 原理：在输入序列前添加可学习的“前缀”（Prefix）或“提示词”（Prompt），通过调整这些向量引导模型生成目标输出。
  • Prefix Tuning：针对每层添加前缀向量。
  • Prompt Tuning：仅在输入层添加提示向量（如Google的T5模型）。
• 优点：无模型结构修改，适合生成任务。
• 缺点：提示向量长度影响效果，需较多训练数据。

4. BitFit（Bias-term Fine-tuning）

• 原理：仅微调模型中的偏置项（Bias Terms），冻结其他参数。
• 优点：参数量极少（通常不到总参数的0.1%），适合极端低资源场景。
• 缺点：性能可能弱于其他方法。

5. P-Tuning系列

• P-Tuning v1/v2：将离散的提示词替换为连续可学习的向量，并通过双向LSTM或MLP优化提示的表示。
• 适用场景：小样本学习（Few-shot Learning）。

---

三、冻结部分参数的微调策略

1. 层冻结（Layer Freezing）

• 原理：冻结模型底层（靠近输入的层），仅微调顶层。
• 依据：底层通常学习通用特征，顶层更接近任务相关特征。

2. 模块选择性微调

• 示例：仅微调注意力机制中的查询（Query）矩阵，或仅更新Feed-Forward层。

---

四、多任务学习与增量微调

1. 多任务微调

• 原理：同时在多个任务上微调模型，共享底层参数，任务间互相增强泛化性。
• 挑战：任务间的平衡与干扰问题。

2. 增量微调（Incremental Fine-tuning）

• 步骤：先在通用领域数据微调，再迁移到特定领域（如：通用英语→医学英语）。

---

五、优化策略改进

1. 分层学习率（Layer-wise Learning Rate）

• 原理：对不同层设置不同的学习率（底层小，顶层大），防止底层特征被破坏。

2. 早停法（Early Stopping）

• 用途：监控验证集性能，防止过拟合。

---

六、其他高级方法

1. 模型蒸馏（Distillation）

• 原理：用大模型（教师模型）指导小模型（学生模型）训练，间接实现轻量化微调。

2. 强化学习微调（RLHF）

• 原理：通过人类反馈的奖励信号优化模型（如ChatGPT的RLHF阶段）。

3. 稀疏微调（Sparse Fine-tuning）

• 示例：仅更新部分重要的神经元或参数子集。

---

七、方法对比与选择建议

方法	参数量	计算成本	适用场景
全参数微调	100%	极高	大数据、高算力
LoRA	0.1%-1%	低	资源有限，需平衡效果与成本
Adapter	1%-5%	中	多任务适配，可扩展性强
Prefix Tuning	0.1%-1%	低	生成任务（如对话、摘要）
BitFit	<0.1%	极低	极端低资源场景

---

八、实践建议

1. 数据量少时：优先选择参数高效方法（如LoRA、Prefix Tuning）。
2. 生成任务：尝试Prompt Tuning或Prefix Tuning。
3. 资源充足时：全参数微调仍是最优选择。
4. 多任务场景：Adapter或共享底层+独立顶层模块。

通过灵活组合上述方法，可以在计算成本、性能需求和数据量之间找到最佳平衡点。