大语言模型微调方法详解【全量微调、PEFT、LoRA、Adapter】

最新推荐文章于 2025-03-27 23:45:52 发布
最新推荐文章于 2025-03-27 23:45:52 发布
阅读量1.1k 收藏 15
点赞数 11
分类专栏： 大语言模型 文章标签： 语言模型 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/v20000727/article/details/143255967
版权

NLP-大语言模型学习系列目录

一、注意力机制基础——RNN,Seq2Seq等基础知识
二、注意力机制【Self-Attention,自注意力模型】
三、Transformer图文详解【Attention is all you need】
四、大语言模型的Scaling Law【Power Low】
五、大语言模型微调

文章目录

一、为什么需要微调

回顾GPT1,GPT2,GPT3，我们知道GPT3发现了Few-shot 的涌现能力，也就是说预训练好的模型，不用微调更新参数，仅仅通过Prompt 加入Few-shot，GPT3便可以在多个下游任务取得很好的效果。 如下图所示，GPT3在SuperGLUE测试集上，不用经过微调，仅通过Few-shot就能达到和微调后的BERT-Large一样的效果。

image.png

并且思维链（CoT)的发现，让我知道通过CoT的方式，LLM的效果还能提升。如下表所示，在需要推理的数学任务上，加入CoT效果可以得到极大的提升。

截屏2024-10-24 10.18.19

虽然Prompt Engineering很有效，但是也有一些缺陷：

  1. 可以放入上下文中的信息是有限的
  2. 复杂任务可能还是需要梯度更新步骤
  3. 没有通过指令微调的大模型，指令跟随效果不好（后训练的必要性）

如下图所示，仅通过预训练的语言模型并不一定能理解人类的意图并帮助我们（指令跟随效果不好）。

image-20241023170058198

微调可以提升语言模型的指令跟随能力（指令微调），如下图所示，微调后的语言模型能正确回答提出的问题。

image-20241023170035362

所以当前大模型的训练范式主流仍然是预训练+后训练（微调），下面本文详细的介绍两种微调方式，特别是各种参数高效微调的算法。

二、微调简介

微调主要包含两类：

  1. 全参数微调，一般称作Full Fine-Tuning
  2. 参数高效微调，Parameter-Efficient Fine-Tuning

全参数微调空间、时间代价高，参数高效微调是指微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也能实现与全量参数微调相当的性能。参数高效微调方法甚至在某些情况下比全量微调效果更好，可以更好地泛化到域外场景。

PEFT全参数微调
目标提高预训练模型在特定任务上的性能，使用有限的数据和计算资源提高预训练模型在特定任务上的性能，使用有限的数据和充足的计算资源
训练时间较快较长
计算资源较少较多
模型参数仅修改非常少量的参数修改所有参数
过拟合由于仅训练少量参数，较不容易过拟合由于修改所有参数，更容易过拟合
性能性能不如微调，但仍然足够好性能更好

三、全参数微调

全参数微调（Full Fine-tuning）就是继续训练一个预训练语言模型，但这个方法可能需要大量的内存(取决于不同优化器、优化方法）.下面以一个具有65B（650亿）参数的模型为例，展示使用16位混合精度（16-bit mixed precision）进行微调训练时的内存消耗情况。

Model

  • 每个参数用16位，也就是2Byte,所以模型参数需要130GB内存
  • 每个参数要存梯度，130GB

Optimizer

  • 这里提到的 optimizer 存储 parameters 是因为在某些情况下，混合精度训练需要为模型参数同时保留两个版本，模型参数在更新的时候，要用高精度，所以要存一个副本，260GB：
    • 低精度参数（16-bit）：在实际的前向和后向传播过程中，模型的参数是以16位精度（16-bit）进行计算和存储的。这种精度可以减少内存占用，并加速计算过程。
    • 高精度副本（32-bit）：为了避免数值精度的损失，在混合精度训练中，优化器需要维护一个模型参数的高精度副本（通常是32-bit）。这个副本并不用于前向或后向传播的计算，而是用于在每次参数更新时执行更精确的累加操作，以确保最终更新的准确性和模型的稳定性。因此，虽然参数以16位精度参与计算，但优化器还需要保留一个高精度（32位）的版本来进行更新操作。因此，图中的“65B parameters * 4b = 260GB” 指的是这一部分的存储需求，它是优化器需要维护的模型参数的高精度副本。
  • Adam的参数260GB+260GB

Activations

  • 前向传播和后向传播的一些中间计算量

截屏2024-10-23 17.23.15

所以我们可以看到全参数微调对内存的需求很大，即使是65B的中等模型，需要很多张显卡才行（每张显卡80GB内存）。

四、PEFT

PEFT主要有如下几类1：

  • 增加额外参数，如：Prefix Tuning、Prompt Tuning、Adapter Tuning及其变体。
  • 引入重参数化，如：LoRA、AdaLoRA、QLoRA。
  • 选取一部分参数更新，如：BitFit。
  • 混合高效微调，如：MAM Adapter、UniPELT。

截屏2024-07-23 13.02.46

1 Intuition behind PEFT

模型微调的背后直觉：

  • 微调具有低内在维度，意思是：为了达到令人满意的性能，模型实际需要调整的参数数量并不多。这表明，在一个庞大的模型中，并不需要修改所有的参数，只要修改其中一部分关键的参数就可以让模型获得不错的性能。这一发现是PEFT的核心思想。
  • 我们可以用低维的代理参数来重新参数化模型中的一部分原始参数。这意味着在进行模型微调时，我们可以不必对模型的所有参数进行优化，只需找到一些“代理参数”（low-dimensional proxy parameters），这些代理参数是低维的，且能很好地代表原始模型的一部分，从而简化优化的过程。

2 Prefix Tuning

如下图所示，Prefix Tuning在每一个Transformer层都加上一些可训练的virtual token作为前缀，以适应不同的任务。

截屏2024-10-23 17.41.51

具体怎么做呢，下图是没有Prefix的注意力计算。

截屏2024-10-23 17.43.16

下图是加入Prefix的注意力计算，我们可以看到：

  • 前缀不影响原始输入数据本身，在 Prefix Tuning 中 ， 前缀 向量不会在模型输入之前直接添加，不会像 Prompt Tuning 会在输入前添加一个额外的提示词那样。相反，前缀向量是添加在模型的隐藏层（尤其是自注意力机制）中的，影响模型对输入数据的处理，但不改变输入数据本身。
  • 比如，假设你有一个输入句子 “Starbucks serves coffee”，这个句子作为输入传入模型，Prefix Tuning 的前缀不会直接拼接在这个句子前，加入到每层自注意力机制的 Key 和 Value 中，从而影响模型的内部计算

截屏2024-10-23 17.43.39

在微调时，我们只会更新Prefix这些参数，所以前缀向量的作用是增强自注意力机制中的上下文信息：

  • 在 Transformer 模型中，注意力机制的核心在于通过每个 token 之间的关联性来构建上下文。Prefix Tuning 通过给每层 Transformer 添加一组可训练的前缀向量，这些向量与输入的 token 一起作为注意力机制的输入，但它们不对应输入的具体 token，而是额外的信息源。
  • 具体来说，在计算注意力分数时，前缀向量作为额外的注意力查询键（key）和值（value）参与自注意力的计算。这意味着，输入的 token 不仅会彼此之间产生注意力分数，还会与这些前缀向量产生注意力，从而增强模型对任务相关上下文的理解。

3 Prompt Tuning

该方法可以看着是Prefix Tuning的简化版本，针对不同的任务，仅在输入层引入virtual token形式的软提示（soft prompt），如下图所示：

image-20241023174821321

特点：

  • 相对于Prefix Tuning，参与训练的参数量和改变的参数量更小，更节省显存。
  • 对一些简单的NLU 任务还不错，但对硬序列标记任务（即序列标注）表现欠佳。

4 Adapter Tuning

该方法设计了Adapter结构，并将其嵌入Transformer的结构里面，针对每一个Transformer层，增加了两个Adapter结构，在训练时，固定住原来预训练模型的参数不变，只对新增的Adapter结构和Layer Norm 层进行微调。 Adapter结构如下图右边所示：

image-20241023194344400

如下图所示，Adapter可以加在每个Transformer Layer.

image-20241024092450260

Adapter的缺点：

  • 添加新层会导致推理速度变慢。
  • 这也会使模型变大（可能更难适应现有的GPU资源）。
  • 适配器层在推理时需要顺序处理，这可能会破坏模型的并行性。

5 LoRA

LoRA的主要特点为：

  • LoRA通过冻结预训练模型的权重，并在Transformer架构的每一层中注入可训练的低秩分解矩阵来解决上述问题。
  • 这种方法显著减少了下游任务的可训练参数数量。例如，与GPT-3 175B的全参数微调相比，LoRA将可训练参数数量减少了10,000倍，GPU内存需求减少了3倍。

（1）核心思想

在Transformer中有很多全连接层，这些全连接层涉及到矩阵相乘的运算。论文的一个核心假设是针对于特定的任务，这些全连接层的权重矩阵在低秩的情况下，模型的效果也很好。

所以作者提出在微调时，可以学习模型中全连接矩阵增量的一个低秩表示，同时这里还用到了类似“残差”的思想，不重新学习整个 W W W，而是学习一个增量 Δ W = A ⋅ B \Delta W=A\cdot B ΔW=A⋅B，最终的参数为：
W T = W + Δ W W_T=W+\Delta W WT​=W+ΔW
其中 W W W是预训练模型的原始参数。同时，原论文只关注注意力层的权重矩阵，如下图所示：

截屏2024-07-23 14.02.43

上图右边部分更加具体的结构如下图所示：

截屏2024-07-23 14.11.44

这里 r r r远小于 d d d，假设 d = 1000 d=1000 d=1000， W W W矩阵参数量为 1000 × 1000 1000\times1000 1000×1000，若采用低秩分解，设 r = 2 r=2 r=2，则 A 、 B A、B A、B矩阵参数量为 1000 × 2 × 2 = 4000 1000\times2\times 2=4000 1000×2×2=4000远小于 W W W，训练的参数量大大减小！

（2）图解

原论文是对Attention的权重矩阵做Lora分解，实际应用也可以对Feed-forward层做，如下图所示。

image-20241024093014034

全连接层一般有两个矩阵，一个上投影矩阵 H × 4 H H\times 4H H×4H，一个下投影矩阵 4 H × H 4H\times H 4H×H，可以对每个矩阵做Lora，如下图所示：

image-20241024093204659

同理，Lora也可以在每个Transformer层加，如下图所示：

image-20241024093359981

6 BitFit

BitFit( Bias-terms Fine-tuning)，顾名思义，仅更新Bias项的微调技术。

image-20241024103336892

如下图所示，仅更新Bias项，所需要的内存大大减少。

image-20241024103354266

7 多种不同的高效微调方法对比

如下图所示，PEFT需要更新的参数比例非常小！

image-20241024103614433

多种PEFT方法和全参数微调效果对比2：

image-20241024103821376

总的来说，全参数微调效果最好，如果资源足够首选全参数微调。像LoRA、P-Tuning v2等都是综合评估很不错的高效微调技术。如果显存资源有限可以考虑QLoRA；如果只是解决一些简单任务场景，可以考虑P-Tuning、Prompt Tuning也行。

8 关于PEFT的库

  • OpenAI 微调 API

    • 可用的模型：gpt-3.5-turbo-0613，babbage-002 和 davinci-002.

  • HuggingFace PEFT 库

    • 实现了 LoRA，Prefix Tuning，Prompt Tuning等；
    • 有多种不同的模型可供适配.

参考资料

  1. Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning ↩︎

  2. Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models.” Ding et al. 2023 ↩︎

PEFT和LoRA：高效的参数高效微调方法
AI天才研究院
10-14 1223
本文将详细介绍PEFT和LoRA两种参数高效的微调方法，探讨其在深度学习领域的应用。通过对这两种方法的核心概念、数学模型、算法原理、应用实践以及优化方法进行全面剖析，本文旨在为读者提供对PEFT和LoRA的深入理解，并展示它们在实际项目中的价值。
peft lora微调代码解析，llama2-7b lora微调实战
weixin_45761030的博客
07-25 1918
运行微调使用的peft版本是v0.11.1， 代码解析使用的peft版本是0.11.2.dev0，这个版本单独将dora提取出来了。
【AIGC】俗解读大模型微调(Fine Tuning)，包括全量微调和轻量化微调
Code_LT的博客
05-22 7108
开始之前，为了方便大家理解，我们先对大模型做一个直观的抽象。本质上，现在的大模型要解决的问题，就是一个序列数据转换的问题：输入序列Xx1x2xmXx1​x2​...xm​， 输出序列Yy1y2ynYy1​y2​yn​XXX和YYYYWXY = WXYWX。我们所说的“大模型”这个词：“大”是指用于训练模型的参数非常多，多达千亿、万亿；而“模型”指的就是上述公式中的矩阵WWW。
[技术杂谈]什么是全量参数微调
FL1623863129的博客
09-21 2397
高效微调，State-of-the-art Parameter-Efficient Fine- Tuning (SOTA PEFT)，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法，比如lora微调、Prefix-Tuning、Prompt Tuning、P-Tuning v2等方法；在llama2-chinese里面有个全量参数微调概念，那么这个是什么意思？
大模型全量微调和LoRA微调的区别与选择
最新发布
lihuayong的专栏
03-27 890
模型微调（Fine-tuning）是指在已有预训练模型的基础上，针对特定任务或数据集进行进一步训练的过程。通过微调，可以在相对较小的数据集上取得较好的性能表现，同时减少从头开始训练模型所需的时间和计算资源。
LLM微调
07-16 1965
prefix-tuning的中文表达是前缀微调，在实现时，prefix-tuning是在PLM前部拼接一小段可学习的向量(virtual tokens)作为Prefix（这里的“前部”是指PLM网络结构每一层的前部，拼接后，PLM网络的层数是不变的）， 且在微调模型的过程中只优化拼接的Prefix，而不需要优化整个模型的参数（训练的时候只更新Prefix部分的参数，而PLM中的其他部分参数不更新）。举个例子，在情感分类任务中，我们要判断“《功夫》这个电影是周星弛主演的，无厘头式的幽默，我很喜欢。
大模型全量微调和 LoRA 微调：一看就懂
xiangxueerfei的博客
07-08 3547
最后我们做一个总结，首先全量微调就是针对于这些每个参数的学习，就是我要通过学习的方法，把这里的每个参数都要一个一个的要把它算出来。那相反，在LoRA的模式下，我们实际上要得出来的是这个矩阵，但是我们学习的方法是用于学习这两个矩阵来替代它。然后这两个矩阵所占用的参数的数量要比它要小很多，所以就会节省非常多的资源。
20、Finetuning
小白的博客
01-03 1642
手动尝试最优的提示无异于大海捞针，于是便有了自动离散提示搜索的方法，但提示是离散的，神经网络是连续的，所以寻找的最优提示可能是次优的。而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的效果。PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4种微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。
最近，大模型岗位爆了。。。
qq_46094651的博客
02-16 305
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，
详解PEFT库中LoRA源码
qq_20144897的博客
06-30 2131
详细解释了PEFT库中的LoRA微调方法源码
【通义千问】大模型Qwen GitHub开源工程学习笔记（5）-- 模型的微调【全参数微调】【LoRA方法】【Q-LoRA方法】
weixin_46481662的博客
01-07 2843
注意，如果你使用预训练模型进行LoRA微调，而非chat模型，模型的embedding和输出层的参数将被设为可训练的参数。秩分解矩阵可以看作是一种特殊的调料，它可以改变模型的行为，使模型更好地适应新的任务，但并不会改变原有的食材（即预训练模型的权重）。相比之下，LoRA将预训练模型的权重冻结，并在转换器架构的每一层注入可训练的秩分解矩阵。这意味着在这种方法中，原始的预训练权重 W 是固定的，不会在后续的训练过程中进行更新，而是只对 A 和 B 进行训练。在全参数微调中，所有的模型参数都会被重新训练。
大模型高效微调-LoRA原理详解和训练过程深入分析
weixin_53880910的博客
06-12 1161
LoRA与训练目标是解耦的，但本文设定就是语言模型建模。以下将给出语言建模（可自然推广到序列建模）的基本符号定义，即最大化给定提示的条件概率（本质是极大似然估计）。给定一个参数为\(\mathbf{\Phi}\)预训练的自回归语言模型$ P_{\Phi}(y|x)$。\(x\)为输入，\(y\)为输出note: 为与原文符号一致，下文\(\mathbf{\Phi}\)、\(\mathbf{\Theta}\)、\(\mathbf{W}\)均表示模型参数全参数微调。
这你受得了么？仅用1%的数据完胜全量数据微调模型！
人工智能讲师分享前沿技术
12-29 1169
与 Alpaca 数据集相比，Alpaca-GPT4 数据集拥有更多高黄金得分的指令：超过 0.8 的指令有 25,100 个，超过 0.85 分的有 16,943 个，超过 0.9 分的有 4,250 个。Table 3 的结果显示，在随机抽样的情况下，增加任务集的规模能够提高识别高质量指令数据的能力。根据这一假设，一种直观的方法是用一个指令示例对一个独立模型进行微调，然后比较微调后的模型与原始模型在包含多个任务的预定义数据集上的表现，以此判断该示例是否达到“黄金指令”的标准。
一文搞懂！如何高效微调你的 LLM
Kaiyuan_sjtu的博客
05-15 1982
作者|guolipa整理|NewBeeNLP公众号https://zhuanlan.zhihu.com/p/621700272当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。 参数高效微调方法...
【NLP】一文搞懂！如何高效微调你的 LLM
fengdu78的博客
05-19 1870
作者|guolipa整理|NewBeeNLP公众号https://zhuanlan.zhihu.com/p/621700272当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。 参数高效微调方法...
Generative AI 新世界 | 大模型参数高效微调和量化原理概述
亚马逊云科技专栏
09-12 920
本文作者黄浩文亚马逊云科技 资深开发者布道师在上期文章，我们对比了在 Amazon SageMaker 上部署大模型的两种不同的部署方式。本期文章，我们将探讨两个目前大语言模型（LLM）领域的开发者们都关注的热门话题：大型语言模型的高效微调和量化。微调大型语言模型允许开发者调整开源基础模型，从而提高特定领域任务的性能。接下来的两期文章，我们将探讨如何利用 Hugging Face 的参数高效微...
清华提出 SoRA，参数量只有 LoRA 的 70%，表现更好！
夕小瑶科技说
11-26 1176
近端梯度方法是一类优化算法，通常用于处理带有正则化项的优化问题。这类方法结合了梯度下降和近端操作，以有效地在考虑正则化惩罚的同时更新模型参数。在机器学习中，正则化用于控制模型的复杂性，以防止过度拟合训练数据。近端梯度方法通过在每次迭代中对梯度下降的步骤应用“近端操作”来实现正则化，这通常是指应用软阈值或硬阈值等函数，将每个参数调整到一个接近零的值，以促使模型参数更稀疏或具有低秩性。近端梯度方法的目标是在梯度下降的基础上最小化损失函数，并通过近端操作来确保参数满足正则化的要求。
总结！大模型微调（Tuning）的常见方法
zenRRan的博客
12-29 3031
作者：爱吃牛油果的璐璐，北京大学 电子与通信工程硕士，推荐广告从业者编辑：青稞AI前言微调是指调整大型语言模型（LLM）的参数以适应特定任务的过程。这是通过在与任务相关的数据集上训练模型来完成的。所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。快来！NLP论文投稿、LLM交流...
2024！深入了解 大语言模型（LLM）微调方法（非常详细）零基础入门到精通，收藏这一篇就够了
A1_3_9_7的博客
11-07 841
2021年微软提出的 LORA，斯坦福提出的 Prefix-Tuning，谷歌提出的 Prompt Tuning，2022年清华提出的 P-tuning v2、2023年华盛顿大学提出的QLoRA、2024年英伟达提出DoRA等基本上都是属于该范畴）。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
大模型微调技术
03-26
<think>好的，我现在需要处理用户关于大模型微调技术的查询。首先，用户提到了系统级指令，要求使用中文回答，正确使用LaTeX格式，生成相关问题，并在引用处添加标识。同时，用户提供了四个引用内容，需要整合这些信息来构建回答。 首先，我需要理解大模型微调技术的基本概念。根据引用[1]，微调是在预训练模型基础上通过少量参数调整适应特定任务的技术。接下来，引用[2]详细说明了不同的微调方法，比如微调所有层、顶层、冻结底层、逐层微调和迁移学习。这些方法需要被清晰地分类和解释。 然后，用户还提到了框架和实现部分。引用[3]和[4]提到了一些资源和注意事项，比如过拟合的问题。不过用户的问题主要集中在技术方法、框架和实现上，所以可能需要更关注前两个引用，尤其是引用[2]中的方法。 接下来，我需要确保回答结构清晰，分步骤讲解。可能的结构是先介绍微调技术的基本概念，然后详细说明不同方法，接着讨论常用框架，最后提到实现时的注意事项。同时，每个部分需要自然地插入引用标识。 在生成相关问题的时候，需要基于用户提供的引用内容来设计，例如询问不同方法的区别、如何选择框架、过拟合如何解决等。这些问题应该覆盖用户可能感兴趣的后续方向。 需要注意的是，用户可能对技术细节和实际应用比较关注，因此在回答中需要结合理论和实践，比如举例说明Hugging Face Transformers的使用，或者如何冻结底层参数。同时，避免使用复杂术语，保持语言简洁明了。 最后，检查LaTeX格式是否正确，所有数学表达式如层数$L$是否正确用$包裹，独立公式如损失函数是否用$$...$$。确保引用标识正确对应到提供的参考文献，比如引用[1]对应大模型微调技术的基本定义，引用[2]对应具体方法，引用[4]对应过拟合问题。 可能还需要注意用户提到的“系统级指令”中的要求，如生成相关问题和回答结构清晰。因此，回答需要分为几个部分，每个部分有小标题，使用中文，并且问题部分要合理覆盖用户可能想深入了解的方向。 总结一下，回答的大纲可能是： 1. 大模型微调技术概述 2. 核心方法（分点列出不同方法） 3. 常用框架（如Transformers、DeepSpeed等） 4. 实现步骤（数据、模型调整、训练配置、评估） 5. 注意事项（过拟合、计算资源、评估指标） 6. 相关问题 每个部分引用相应的文献，并确保格式正确。现在需要将这些内容整合成一个自然流畅的回答，同时符合用户的所有格式和内容要求。</think>### 大模型微调技术详解 #### 1. **大模型微调技术概述** 大模型微调（Fine-tuning）是在预训练模型（如GPT、BERT）的基础上，通过少量任务特定数据调整参数，使其适应下游任务的技术[^1]。核心目标是**平衡通用知识与领域特异性**，避免从头训练的高成本。例如，数学上可表示为优化损失函数： $$ \mathcal{L}(\theta) = \sum_{(x,y) \in D} \ell(f_\theta(x), y) $$ 其中$\theta$为模型参数，$D$为目标领域数据集。 #### 2. **核心微调方法** 根据参数调整范围，主要分为以下方法[^2]： 1. **全参数微调** 调整所有层参数，适合数据量充足且任务差异大的场景，但计算成本高。 *实现示例*：使用PyTorch时，`model.parameters()`全部参与梯度更新。 2. **顶层微调（Top-layer Tuning）** 仅微调最后$k$层（如分类头），冻结底层参数。公式化表示为： $$ \theta_{\text{new}} = \{\theta_{\text{top}} \cup \theta_{\text{frozen}}\} $$ 适用于小数据集或任务与原预训练目标高度相关。 3. **逐层解冻（Layer-wise Unfreezing）** 从顶层到底层逐步解冻参数，分阶段训练。例如，先训练最后3层，收敛后加入第4层，迭代至全部解冻。 4. **适配器（Adapter）** 在Transformer层中插入轻量级模块（如两层MLP），仅训练适配器参数。计算效率高，适合资源受限场景。 #### 3. **常用微调框架** | 框架 | 特点 | |-----------------|----------------------------------------------------------------------| | Hugging Face Transformers | 提供`Trainer`类支持分布式训练，集成多种优化策略（如混合精度训练） | | DeepSpeed | 微软开发，支持ZeRO优化，显存效率高，适合百亿参数模型 | | PEFT (Parameter-Efficient Fine-Tuning) | 专门针对高效微调，实现LoRA、Prefix Tuning等方法 | #### 4. **实现步骤与示例** 1. **数据准备** 使用领域数据（如医疗文本）构建数据集，通常需数千到数万样本。 2. **模型调整** ```python from transformers import AutoModelForSequenceClassification model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=5) # 冻结底层参数 for param in model.bert.parameters(): param.requires_grad = False ``` 3. **训练配置** 选择优化器（如AdamW）、学习率（$10^{-5}$量级）与早停策略。 4. **评估与部署** 使用验证集监控指标（如准确率、F1值），导出模型至ONNX或TorchScript格式。 #### 5. **关键注意事项** - **过拟合风险**：小数据场景需结合正则化（如Dropout率提升至0.3）或数据增强[^4]。 - **计算资源**：全参数微调百亿模型可能需要16+张A100 GPU，适配器方法可降至1-2张。 - **评估指标**：除任务指标外，需检查模型输出稳定性（如困惑度$PPL$）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值