大模型微调基本概念（二）什么是大模型微调、为什么需要微调、微调方法分类、训练框架选择

程序员羊羊

于 2024-09-27 10:25:21 发布

阅读量505

点赞数 2

文章标签：分类人工智能机器学习 docker 职场和发展学习深度学习

本文链接：https://blog.csdn.net/chengxuyuanyy/article/details/142587203

版权

二、微调(SFT)

1、什么是大模型微调

大模型微调，通常指有监督微调（Supervised Fine-Tuning, SFT），是在预训练模型（一般称为“基座模型”）的基础上进行的训练过程。

预训练模型通常已经掌握了广泛的语言知识和语义表示，但为了让模型在特定任务或领域上表现得更好，我们会在特定任务的数据集上对其进行微调。

2、为什么需要微调

微调是优化大模型在特定任务或领域表现的关键步骤。通过微调，模型不仅能在通用任务上表现出色，还能在特定应用场景中更好地满足用户的需求。它在任务性能、领域适应性、数据利用效率和计算成本等方面具有显著的优势。

具体为：

任务特定性能提升：预训练模型虽然有广泛的语言理解能力，但在特定任务上（如情感分析、问答系统、机器翻译等）的表现可能不尽如人意。微调通过在任务特定的数据上进一步训练，使模型能够更好地理解和执行该任务。
领域适应性：预训练模型可能在一些通用领域表现良好，但在特定领域（如医学、法律、金融等）中可能难以准确理解专业术语和内容结构。通过微调，可以让模型更好地适应这些领域的语言特点，提高在这些领域中的应用效果。
数据稀缺性：对于一些数据稀缺的任务或领域，获取大量标签数据可能比较困难。微调允许在有限的数据集上进行有效训练，从而在数据稀缺的情况下也能取得较好的性能。
防止过拟合：预训练过程中模型可能会过度拟合于无监督学习的任务（如下一个词预测），而在特定任务中表现不佳。通过微调，可以让模型专注于特定任务的数据，这有助于减少过拟合的风险，提高模型在该任务上的泛化能力。
成本效益：与使用 prompt 来引导模型行为相比，微调通常可以更高效地优化模型的表现。微调后的模型通常可以更直接地执行任务，减少了对复杂提示的依赖。同时，微调可以在更小的模型上实现类似于大型模型的性能，从而降低推理的计算成本和延迟，比如与使用通用的 GPT-3.5 模型相比，经过微调的小型模型（如 LLaMA 7B）在成本效益上可能更具优势，尤其是在特定任务的执行上。

3、微调方法分类

微调根据更新参数量不同可以分为以下两种：

全量参数更新 Full Fine-tuning（FFT）：即对预训练模型的所有参数进行更新，训练速度较慢，消耗机器资源较多。
参数高效微调 Parameter-Efficient Fine-Tuning（PEFT）：只对部分参数做调整，训练速度快，消耗机器资源少。

理论上，预训练和微调都可以做全量参数更新和部分参数更新，但是一般实际训练时都是预训练 + 全量，微调 + 部分参数更新这样组合的。

FFT 的原理，就是用特定的数据，对大模型进行训练，将 W 变成_W_′，_W_′相比 W，最大的优点就是上述特定数据领域的表现会好很多。

但 FFT 也会带来一些问题，影响比较大的问题，主要有以下两个：

一个是训练的成本会比较高，因为全量微调的参数量跟预训练的是一样多的；
一个是叫**灾难性遗忘(Catastrophic Forgetting)**，用特定训练数据去微调可能会把这个领域的表现变好，但也可能会把原来表现好的别的领域的能力变差。
可以理解为：修复一个 bug 的同时又在别的地方引入了一个新的 bug。

另外，随着模型规模变得越来越大，这使得在消费级硬件上进行全量微调变得不可行，这也给参数高效微调技术研究提供了空间。

PEFT 主要想解决的问题，就是 FFT 存在的上述两个问题，PEFT 也是目前比较主流的微调方案。

Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning[2] 论文里系统地概述和比较了参数高效微调方法，涵盖了 2019 年 2 月至 2023 年 2 月之间发表的 40 多篇论文，作者在文中将 PEFT 分为三类：

添加额外参数的 Addition-based（A)
类似适配器的方法（Adapter-like methods）
软提示（Soft prompts）
选取部分参数更新 Selection-based（S）
引入重参数化 Reparametrization-based（R）

在这里插入图片描述

常见的 PEFT 方法：BitFit、Prompt Tuning、Prefix Tuning、P-Tuning、P-Tuning V2、Adapter Tuning、LoRA、QLoRA、MAM Adapter、UniPELT、 Freeze tuning 等等。
在这里插入图片描述

大致介绍：

1）《BitFit: BitFit: Simple Parameter-efficient Fine-tuning or Transformer-based Masked Language-models》 训练时只更新 bias 的参数或者部分 bias 参数
2）《Prefix Tuning: Prefix-Tuning: Optimizing Continuous Prompts for Generation》 在输入 token 之前构造一段任务相关的 virtual tokens 作为 Prefix，然后训练的时候只更新 Prefix 部分的参数，而 PLM 中的其他部分参数固定。
3）《Prompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning》 该方法可以看作是 Prefix Tuning 的简化版本，它给每个任务定义了自己的 Prompt，然后拼接到数据上作为输入，但只在输入层加入 prompt tokens，并且不需要加入 MLP 进行调整来解决难训练的问题。
4）《P-Tuning:GPTUnderstands, Too 》 该方法将 Prompt 转换为可以学习的 Embedding 层，并用 MLP+LSTM 的方式来对 Prompt Embedding 进行一层处理。相比 Prefix Tuning，P-Tuning 加入的可微的 virtual token，但仅限于输入层，没有在每一层都加；另外，virtual token 的位置也不一定是前缀，插入的位置是可选的。这里的出发点实际是把传统人工设计模版中的真实 token 替换成可微的 virtual token
5）《P-Tuning v2: P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks》 该方法在每一层都加入了 Prompts tokens 作为输入，而不是仅仅加在输入层
6）《Adapter Tuning :Parameter-Efficient Transfer Learning fo NLP》,该方法设计了 Adapter 结构，并将其嵌入 Transformer 的结构里面，针对每一个 Transformer 层，增加了两个 Adapter 结构(分别是多头注意力的投影之后和第二个 feed-forward 层之后)，在训练时，固定住原来预训练模型的参数不变，只对新增的 Adapter 结构和 Layer Norm 层进行微调，从而保证了训练的高效性。
7）《LoRA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》，该方法的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练.
…

各自的特点：

BitFit: 只更新模型中的 bias 参数或部分 bias 参数。
Prefix Tuning: 在模型输入前添加可训练的前缀向量。
Prompt Tuning: 在输入层加入提示词（prompt tokens）进行微调。
P-Tuning: 在模型的每层都加入可学习的提示词。
Adapter Tuning: 在 Transformer 的每一层插入小型的适配器网络。
LoRA (Low-Rank Adaptation): 通过在模型的权重矩阵中引入低秩结构来进行微调。
QLoRA(Quantized LoRA**)**：提出了 NormalFloat 数据类型,通过量化降低基座模型的显存占用，使得 65B 模型在单 GPU 上可以完成训练。

这部分微调技术也可以按照 PEFT 进行分类：

1）增加额外参数的 A，如：Prefix Tuning、Prompt Tuning、Adapter Tuning 及其变体。
2）选取一部分参数更新的 S，如：BitFit。
3）引入重参数化的 R，如：LoRA、AdaLoRA、QLoRA。
4）混合高效微调（混合多种微调方法），如：MAM Adapter、UniPELT

现在比较主流的几种 PEFT：Prompt Tuning、Prefix Tuning、LoRA、QLoRA。

4、训练框架选择

比较主流的几个微调工具：

huggingface/transformers：最基础的一个库,提供了丰富的预训练模型和微调工具，支持大多数主流的 NLP 任务（如文本分类、序列标注、生成任务等）。适合进行快速实验和生产部署，有着广泛的社区支持。
huggingface/peft：Parameter-Efficient Fine-Tuning，huggingface 开源的微调基础工具
modelscope/ms-swift：modelscope 开源的轻量级微调框架
以中文大模型为主，支持各类微调方法
可以通过执行脚本进行微调，也可以在代码环境中一键微调
自带微调数据集和验证数据集，可以一键微调 + 模型验证
hiyouga/LLaMA-Factory：全栈微调工具
运行脚本微调
基于 Web 端微调
支持海量模型 + 各种主流微调方法
自带基础训练数据集
除微调外，支持增量预训练和全量微调
NVIDIA/Megatron-LM：NVIDIA 开发的大模型训练框架，支持大规模的预训练和微调。适用于需要极高性能和规模的大模型训练和微调。

快速实验选择 Transformers 即可，超大规模的选择 NVIDIA/Megatron-LM，普通规模就选择使用较为简单的 hiyouga/LLaMA-Factory。