人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

最新推荐文章于 2025-04-03 15:18:41 发布
最新推荐文章于 2025-04-03 15:18:41 发布
阅读量1k 收藏 9
点赞数 24
文章标签： 人工智能 自然语言处理 langchain AI大模型 大模型微调 大语言模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python123456_/article/details/146885791
版权

1.SFT 监督微调

1.1 SFT 监督微调基本概念

SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。

1.2 监督微调的步骤

具体来说，监督式微调包括以下几个步骤：

  • 预训练： 首先在一个大规模的数据集上训练一个深度学习模型，例如使用自监督学习或者无监督学习算法进行预训练；
  • 微调： 使用目标任务的训练集对预训练模型进行微调。通常，只有预训练模型中的一部分层被微调，例如只微调模型的最后几层或者某些中间层。在微调过程中，通过反向传播算法对模型进行优化，使得模型在目标任务上表现更好；
  • 评估： 使用目标任务的测试集对微调后的模型进行评估，得到模型在目标任务上的性能指标。

1.3 监督微调的特点

监督式微调能够利用预训练模型的参数和结构，避免从头开始训练模型，从而加速模型的训练过程，并且能够提高模型在目标任务上的表现。监督式微调在计算机视觉、自然语言处理等领域中得到了广泛应用。然而监督也存在一些缺点。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。其次，由于预训练模型的参数和结构对微调后的模型性能有很大影响，因此选择合适的预训练模型也很重要。

1.4 常见案例

  • 样例 1

在计算机视觉中，低层的网络主要学习图像的边缘或色斑，中层的网络主要学习物体的局部和纹理，高层的网络识别抽象的语义，如下图所示。因此，可以把一个神经网络分成两块：

  • 低层的网络进行特征抽取，将原始信息变成容易被后面任务使用的特征；

  • 输出层的网络进行具体任务的预测。输出层因为涉及到具体任务没办法在不同任务中复用，但是低层的网络是具有通用型的，可以应用到其他任务上。

    下图表示的是将预训练模型的前 L-1 层的参数复制到微调模型，而微调模型的输出层参数随机初始化。在训练过程中，通过设置很小的学习率，从而达到微调的目的。

  • 样例 2

BERT 模型是 Google AI 研究院提出的一种预训练模型，通过预训练 + 微调的方式于多个 NLP 下游任务达到当时最先进水平，如实体识别、文本匹配、阅读理解等。与样例 1 一样，BERT 模型微调时，将预训练好的模型参数复制到微调模型，而输出层参数随机初始化。

1.5 SFT 监督微调的主流方法

随着技术的发展，涌现出越来越多的大语言模型，且模型参数越来越多，比如 GPT3 已经达到 1750 亿的参数量，传统的监督微调方法已经不再能适用现阶段的大语言模型。为了解决微调参数量太多的问题，同时也要保证微调效果，急需研发出参数高效的微调方法（Parameter Efficient Fine Tuning, PEFT）。目前，已经涌现出不少参数高效的微调方法，其中主流的方法包括：

  • LoRA
  • P-tuning v2
  • Freeze

2. LoRA 微调方法

2.1 LoRA 微调方法的基本概念

LoRA（Low-Rank Adaptation of Large Language Models），直译为大语言模型的低阶自适应。LoRA 的基本原理是冻结预训练好的模型权重参数，在冻结原模型参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。由于这些新增参数数量较少，这样不仅 finetune 的成本显著下降，还能获得和全模型参数参与微调类似的效果。

随着大语言模型的发展，模型的参数量越来越大，比如 GPT-3 参数量已经高达 1750 亿，因此，微调所有模型参数变得不可行。LoRA 微调方法由微软提出，通过只微调新增参数的方式，大大减少了下游任务的可训练参数数量。

2.2 LoRA 微调方法的基本原理

神经网络的每一层都包含矩阵的乘法。这些层中的权重矩阵通常具有满秩。当适应特定任务时，预训练语言模型具有低的 “内在维度”，将它们随机投影到更小的子空间时，它们仍然可以有效地学习。

在大语言模型微调的过程中，LoRA 冻结了预先训练好的模型权重，并将可训练的秩的分解矩阵注入到 Transformer 体系结构的每一层。例如，对于预训练的权重矩阵W0​，可以让其更新受到用低秩分解表示后者的约束：
在这里插入图片描述

其中:

在这里插入图片描述

而且，秩r≪min(d,k),
此时，修正后的正向传播计算公式就变成：

在这里插入图片描述

在模型微调时，W0​被冻结，不接受梯度更新，只微调参数A和B。与所有参数参与模型微调相比，此时该步骤模型微调的参数量由d×k变成d×r+r×k，而r≪min(d,k)，因此微调参数量大量减少了。

如下图所示，LoRA 微调时，对A使用随机高斯初始化，对B使用零初始化，因此ΔW=BA在训练开始时为零。

对 Transformer 的每一层结构都采用 LoRA 微调的方式，最终可以使得模型微调参数量大大减少。当部署到生产环境中时，只需要计算和存储W=W0​+BA，并像往常一样执行推理。与其它方法相比，没有额外的延迟，因为不需要附加更多的层。

在 Transformer 体系结构中，自注意力机制模块中有四个权重矩阵 (Wq​、Wk​、Wv​、Wo​)， MLP 模块中有两个权重矩阵。LoRA 在下游任务微调时，只调整自注意力机制模块的权重，并冻结 MLP 模块。所以对于大型 Transformer，使用 LoRA 可减少高达 2/3 的显存（VRAM）使用量。比如在 GPT-3 175B 上，使用 LoRA 可以将训练期间的 VRAM 消耗从 1.2TB 减少到 350GB。

2.3 LoRA 微调方法的主要优势

  1. 预训练模型参数可以被共享，用于为不同的任务构建许多小的 LoRA 模块。冻结共享模型，并通过替换矩阵 A 和 B 可以有效地切换任务，从而显著降低存储需求和多个任务切换的成本。

  2. 当使用自适应优化器时，由于不需要计算梯度以及保存太多模型参数，LoRA 使得微调效果更好，并将微调的硬件门槛降低了 3 倍。

  3. 低秩分解采用线性设计的方式使得在部署时能够将可训练的参数矩阵与冻结的参数矩阵合并，与完全微调的方法相比，不引入推理延迟。

  4. LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。

3. P-tuning v2 微调方法

3.1 P-tuning v2 微调方法的相关技术

传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。

3.1.1 Prefix-tuning 微调方法

Prefix-tuning 微调方法在模型中加入 prefix，即连续的特定任务向量，微调时只优化这一小段参数。对于条件生成任务，如下图所示，其输入是文本x，输出是序列y。

在上图中，z=[x;y]是x和y的拼接，Xidx​和Yidx​表示序列的索引，hi​∈Rd表示每个时刻i下的激活值，hi​=[hi​(1);...;hi​(n)]表示当前时刻所有层输出向量的拼接，hi​(j)是时刻i的第j层 Transformer 的输出，于是自回归语言模型计算每一时刻的输出hi​即：

在这里插入图片描述

hi​的最后一层用来计算下一个词的分布：

在这里插入图片描述

其中ϕ是语言模型的参数。在自回归语言模型前添加 prefix 后，z=[PREFIX;x;y]或者z=[PREFIX;x;PREFIX;y]，Pidx​表示 prefix 的索引，｜Pidx​｜表示 prefix 的长度。Prefix-tuning 通过初始化可训练矩阵Pθ​(维度为∣Pidx​×dim(hi​)∣) 来存储 prefix 参数：

在这里插入图片描述

训练对象与 Fine-tuning 相同，但语言模型的参数ϕ固定，仅 prefix 参数θ是可训练的参数。因此hi​是可训练的Pθ​的函数。

3.1.2 P-tuning v1 微调方法

P-tuning v1 微调方法是将 Prompt 加入到微调过程中，只对 Prompt 部分的参数进行训练，而语言模型的参数固定不变。如下图所示：

P-tuning v1 设计一个自动的生成连续 prompt 的方法来提升模型的微调效果。由上图，P-tuning v1 的模版可以用下面公式表示：

在这里插入图片描述

其中h代表 P-tuning v1 的连续 prompt 表征，e代表一个预训练的语言模型，x代表数据的原始输入，y代表数据的标签。在面对下游任务微调是，通过优化h的参数来进行模型微调：

在这里插入图片描述

3.1.3 存在不足

P-tuning v1 微调方法缺少普遍性。实验表明，当模型规模超过 100 亿个参数时，P-tuning v1 可以与全参数微调方法相媲美，但对于那些较小的模型，P-tuning v1 方法和全参数微调方法的表现有很大差异，效果很差。同时，P-tuning v1 缺少跨任务的通用性，在序列标注任务中的有效性没有得到验证。序列标注需要预测一连串的标签，而且大都是无实际意义的标签，对于 P-tuning v1 微调方法极具挑战。此外，当模型层数很深时，微调时模型的稳定性难以保证。模型层数越深，第一层输入的 prompt 对后面的影响难以预估。

3.2 P-tuning v2 微调方法的原理

P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。如下图所示：

与 P-tuning v1 微调方法相比，P-tuning v2 微调方法采用了 prefix-tuning 的做法，在输入前面的每一层都加入可微调的参数。在 prefix 部分，每一层的 transformer 的 embedding 输入都需要被微调，而 P-tuning v1 只在第一层进行微调。同时，对于 prefix 部分，每一层 transformer 的输入不是从上一层输出，而是随机初始化的 embedding 作为输入。

此外，P-Tuning v2 还包括以下改进：

  • 移除 Reparamerization 加速训练方式；
  • 采用多任务学习优化：基于多任务数据集的 Prompt 进行预训练，然后再适配的下游任务。
  • 舍弃词汇 Mapping 的 Verbalizer 的使用，重新利用 [CLS] 和字符标签，跟传统微调方法一样利用 cls 或者 token 的输出做自然语言理解，以增强通用性，可以适配到序列标注任务。

3.3 P-tuning v2 微调方法优点

P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。

  • P-tuning v2 微调方法仅精调 0.1% 参数量（固定 LM 参数），在各个参数规模语言模型上，均取得和 Fine-tuning 相比肩的性能，解决了 P-tuning v1 在参数量不够多的模型中微调效果很差的问题。如下图所示（横坐标表示模型参数量，纵坐标表示微调效果）：

  • 将 Prompt tuning 技术首次拓展至序列标注等复杂的 NLU 任务上，而 P-tuning v1 在此任务上无法运作。

4. Freeze 监督微调方法

4.1 Freeze 微调方法的概念

Freeze 方法，即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行 TP 或 PP 操作，就可以对大模型进行训练。在语言模型模型微调中，Freeze 微调方法仅微调 Transformer 后几层的全连接层参数，而冻结其它所有参数。

4.2 Freeze 微调方法的原理

Freeze 微调方法为什么只微调 Transformer 后几层的全连接层参数呢？下面对其原因进行展开讲述。

Transformer 模型主要由自注意力层和全连接层（FF 层）构成。对于 Transformer 的每一层结构，自注意力层的参数量为4⋅d2，即WQ、WQ、WQ和WQ ∈Rd×d；FF 层的参数量为8⋅d2，即W1​∈Rd×4d,W2​∈Rd×4d。因此 FF 层占据了模型的32​的参数，具有重要的研究价值。Transformer 的全连接层网络结构图如下图所示：

Transformer 的 FF 层可以视为一个 key-value memory，其中每一层的 key 用于捕获输入序列的特征，value 可以基于 key 捕获的特征，给出下一个 token 的词表分布。Transformer 每一层的 FF 层是由多个 key-value 组合而成，然后结合残差连接对每层结果细化，最终产生模型的预测结果。FF 层的公式可以表示为：

在这里插入图片描述

其中K,V∈Rdm​×d是可训练的参数矩阵，f是非线性激活函数，如 ReLU。

此外，实验表明，Transformer 的浅层倾向于提取出浅层特征，深层倾向于提取语义特征，如下图所示。层数越深提取的语义特征所占的比例越重。

对于各类不同的 NLP 任务，浅层特征往往是具有 “共性”，而主要区别在于各自深层次的语义特征。因此，通过仅微调 Transformer 后几层的全连接层参数，在保证参数高效微调的前提下，可以最大程度的发挥大语言模型的微调作用。

4.3 Freeze 微调方法的优势

  • 大量减少了大语言模型的微调参数，是一种参数高效的微调方法；
  • 由于只需微调高层特征，加快了模型的收敛，节约了微调的时间；
  • 最大程度地保留了大语言模型预训练所学习到的语言的 “共性”，可解释性较强。

5.关键知识点总结

  1. SFT监督微调时监督微调时，学习率通常会设置得很小

常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可

  1. 监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调

常见误区：在ImageNet上的预训练的模型再来训练目标检测任务 （则不是）

  1. 目前，主流的SFT监督方法包括：LoRA、P-tuning v2、Freeze

  2. LoRA微调方法预训练的模型参数不参与微调，LoRA微调方法一般会在各层新增参数，LoRA微调方法的核心思想是利用高阶矩阵秩的分解来减少微调参数量

  3. LoRA微调方法的优势:减少大语言预训练模型微调的参数量、节省成本、能取得与全模型微调类似的效果

  4. LoRA微调方法不会 对Transformer的每个权重矩阵采用秩分解。

  5. P-tuning v2微调方法是在P-tuning v1的基础上引入了prefix-tuning的思想

常见误区：1.P-tuning v1微调方法能微调实体识别的任务、2.P-tuning v1微调方法在效果上可以媲美全参数微调的方式 3.P-tuning v2微调方法在自然语言理解任务上表现不佳

  1. P-tuning v2微调方法原理方面：1.P-tuning v2微调方法在transformer的每一层都加入了prefix、2.P-tuning v2微调方法采用了多任务学习、3.P-tuning v2微调方法prefix部分的参数不是由上一层的prefix输出来输入

常见误区：P-tuning v2微调方法微调的参数对象是每一层离散表示的prefix

  1. P-tuning v2微调方法解决了P-tuning v1微调方法中序列标注任务不佳、普遍性很差等问题。

  2. Freeze微调优点：1.Freeze微调方法是一种参数高效的微调方法 2.大语言模型的后几层网络主要提取的是语义特征，前几层主要提取的是文本的表层特征 3.Transformer的全连接层参数量多于自注意力层参数量

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

微调方法对比（LoRA 、P-tuning、Freeze）
m0_52965867的博客
08-07 2323
主流微调方法原理和优劣对比
DeepSpeed-Chat 打造类ChatGPT全流程 笔记二之监督指令微调
I good vegetable a!
07-05 2204
在DeepSpeed-Chat 打造类ChatGPT全流程 笔记一中跑通了DeepSpeed Chat的训练和推理流程，DeepSpeed Chat的训练流程包含监督指令微调（SFT），Reward模型微调，基于人类反馈的强化学习（RLHF）三个步骤。接着上面文章的todo，这篇文章主要是解析一下监督指令微调（SFT）阶段的代码实现。
大模型微调（三）监督微调的步骤
老皮的博客
08-12 789
给大家分享一本大模型入门书籍《从零开始大模型开发与微调：基于PyTorch与ChatGLM》，适合PyTorch深度学习初学者、大模型开发初学者、大模型开发人员学习。有需要这本书籍PDF文档，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】人工智能与大模型PyTorch 2.0深度学习环境搭建从零开始学习PyTorch 2.0深度学习基础算法详解基于PyTorch卷积层的MNIST分类实战PyTorch数据处理与模型展示ResNet实战有趣的词嵌入。
SFT 监督微调
modi000的博客
08-08 935
在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。监督式微调能够利用预训练模型的参数和结构，避免从头开始训练模型，从而加速模型的训练过程，并且能够提高模型在目标任务上的表现。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。其次，由于预训练模型的参数和结构对微调后的模型性能有很大影响，因此选择合适的预训练模型也很重要。评估： 使用目标任务的测试集对微调后的模型进行评估，得到模型在目标任务上的性能指标。
【监督微调】浅谈大模型之SFT技术
程序星空实验室
09-11 2242
SFT（监督微调，Supervised Fine-Tuning）是一个在机器学习和自然语言处理领域中常用的术语，指对已经预训练的模型进行特定任务的训练，以提高其在该任务上的表现。
Supervised Fine-Tuning（监督式微调）
Debug yourself!
01-05 1181
Supervised Fine-Tuning（监督式微调） 是机器学习和深度学习领域中的一个重要概念，尤其是在自然语言处理（NLP）和计算机视觉等领域中被广泛使用。以下是对这个概念的详细介绍：Supervised Fine-Tuning 是指在有监督学习框架下，通过给模型提供标注过的数据（labelled data），对一个已经预训练的模型（pre-trained model）进行进一步的调整和优化。 这种方法通常用于将一个通用模型（general model）适配到特定任务或领域中，例如从自然语言生成模型
人工智能大语言模型微调技术
2401_86137667的博客
07-22 670
SFT监督微调时监督微调时，学习率通常会设置得很小常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调常见误区：在ImageNet上的预训练的模型再来训练目标检测任务 （则不是）目前，主流的SFT监督方法包括：LoRA、P-tuning v2、Freeze。
大模型有监督微调(一)
SQingL的博客
01-16 1340
这样，模型就可以适应新的任务，计算开销更少，标记的例子也更少。尽管PEFT是一个相对较新的概念，但自从引入迁移学习以来，更新最后一层模型已经在计算机视觉领域得到了实践。即使在NLP中，静态和非静态词嵌入的实验也很早就进行了。参数高效微调旨在提高预训练模型(如BERT和RoBERTa)在各种下游任务上的性能，包括情感分析、命名实体识别和问答。它在数据和计算资源有限的低资源设置中实现了这一点。它只修改模型参数的一小部分，并且不容易过度拟合。参数高效的微调。
大模型微调技术：监督微调、参数高效微调、基于人类反馈的强化学习微调
最新发布
老皮的博客
04-03 1047
是机器学习中迁移学习的一种关键技术，指在预训练模型的基础上，针对特定任务或数据集进行进一步训练调整的过程。其核心在于利用预训练模型已学习到的通用特征，通过少量数据和计算资源，使模型适应新任务的特定需求。
【AI大模型】揭秘监督微调（SFT）：语言模型性能跃升的秘密武器！
Android23333的博客
12-19 947
大型语言模型（LLMs）的训练通常分为多个阶段，包括预训练和后续的微调阶段。虽然预训练成本高昂（通常需要数百万美元的计算资源），但相比之下，微调一个LLM或通过上下文学习进行适配的成本要低得多，仅需几百美元甚至更少。 随着高质量的预训练模型（如 MPT、Falcon 或 LLAMA-2）的广泛可用，并且许多可以免费甚至商业化使用，我们能够通过在特定任务上微调这些模型，快速构建功能强大的应用。这种方法不仅经济高效，还显著降低了开发复杂AI系统的门槛。
一文读懂：监督式微调（SFT）
qianggezhishen的专栏
09-28 2159
监督式微调 (Supervised fine-tuning)，也就是SFT，就是拿一个已经学了不少东西的大型语言模型，然后用一些特定的、已经标记好的数据来教它怎么更好地完成某个特定的任务。它会根据任务的需要，调整自己的参数，就像是在学习怎么更好地预测下一个词或者理解一句话的意思。这样一来，模型就能把之前学的那些广泛的语言知识，专注地用在某个特定的任务上，提高自己的准确度。— 这招挺巧妙，用低秩分解的方式来更新模型的权重，就像是用两个小矩阵来代替一个大矩阵，这样一来，需要调整的参数就少了，微调起来也更高效。
细谈大模型监督微调SFT：实战经验技巧和debug分析思路
xxue345678的博客
10-11 866
除此之外，训练目的也不一样。pretrain 是在背书，纯粹的学习知识；sft 则是在做题，学习的是指令 follow 能力。切勿在 sft 阶段强行给模型做知识注入，比如训个 50W 条的 code 数据，所有的知识注入工作应该采用 continue-pretrain 的思路进行，否则都会使得模型的通用能力掉点明显（SFT 做知识注入基本上是 100% 某个知识，但 continue-pretrain 做知识注入会控制在 10% ～ 20% 左右的比例）。
Achuan读论文：用于远程监督关系抽取的微调预训练transformer语言模型
chuan_yunjian的博客
09-26 975
用于远程监督关系抽取的微调预训练transformer语言模型
什么是SFT（监督微调，Supervised Fine-Tuning）
热门推荐
keyboard专栏
07-01 2万+
定义训练过程，包括损失函数、优化器和训练步骤。
LORA轻量级微调DeepSeek（浅析）
2401_85375186的博客
03-04 2529
LORA 微调通过低秩适配实现了大模型的高效定制化，特别适合资源有限场景下的领域适配与个性化生成。结合量化技术（如 4bits）可进一步降低硬件门槛，而工具链（如peft）的成熟使其成为工业落地的首选方案。
什么是大模型的监督式微调
孔乙己的博客
07-15 767
它涉及在一个已有的预训练模型的基础上，使用特定任务的数据进行进一步训练，以提升模型在该任务上的表现。在实际应用中，需要根据具体任务和数据集的特点，灵活调整和优化监督式微调的各个环节，以达到最佳的模型性能。模型架构：在监督式微调中，通常会选择一个已经在大规模数据集上预训练好的模型，比如 GPT-3，然后在这个基础上进行微调。通过在标注数据集上进一步训练预训练模型，能够使模型适应特定任务的需求，提高模型的精度和泛化能力。在进行监督式微调时，通常会冻结预训练模型的大部分参数，仅对顶层的少量参数进行调整。
9、微调技术——Lora（论文阅读）
DQHNB的博客
09-02 1351
假设原本w为100x100大小，则A大小为100xK，B为Kx100，假设W中有用信息多，我们就可以让k大一点，否则就小一点。假设k=2，则AB中各有200个参数，一共400个，远远比W参数少得多。（1）对于改动的量，可能里面包含许多有限的有用值。比如100亿的参数，可能只有50亿有用，别的都是重复或者可根据已知来推导的。为了减少训练量，我们不会更新所有参数。假设预训练模型的参数矩阵为W，我们可以将其写成W=A*B的形式。（2）有时我们希望模型某一方面的能力更突出，所以只需要训练部分参数即可。
p-tuning v2
03-26
<think>嗯，用户现在想了解P-Tuning V2的实现或教程，特别是在NLP预训练和微调方法中的应用。首先，我需要回忆一下P-Tuning V2的基本概念。记得P-Tuning V2是P-Tuning的升级版，主要解决在自然语言处理中参数高效微调的问题。之前的P-Tuning可能在某些任务或模型规模上有局限性，而V2版本则扩展了适用性，比如支持更大的模型和更广泛的任务类型。 接下来，用户可能需要知道P-Tuning V2的核心原理。根据引用中的对比学习获得可学习的原型向量，这可能涉及到如何通过对比学习优化提示向量。另外，可能需要结合BERT等模型的微调方法，比如引用提到的Transformers和BERT Fine-tuning源码实现，这里需要确认P-Tuning V2在微调时的具体步骤，比如插入可训练的连续提示向量到各个Transformer层。 然后，用户可能关心具体的实现步骤。需要分点说明，比如模型结构修改部分，如何在每一层加入prompt embeddings，目标函数设计时如何结合对比学习或其他损失函数。同时，代码示例部分可能需要给出关键的代码片段，比如使用PyTorch和Hugging Face库定义提示向量，并在前向传播时将它们拼接到输入中。 还要注意用户的潜在需求，比如他们可能想知道如何在自己的数据集上应用P-Tuning V2，或者与LoRA等其他方法的对比。因此，相关问题部分需要覆盖这些方面，比如比较不同参数高效微调方法，调参技巧，以及实际应用案例。 另外，确保回答符合系统级指令，比如数学公式的正确格式，引用标识的添加。比如在讲对比学习时，如果有数学公式，需要用$$...$$格式，并正确引用相关文献。同时，检查是否有站内引用被正确使用，如引用[^1]和[^2]。 最后，要确保回答结构清晰，分点明确，帮助用户逐步理解P-Tuning V2的实现方法，并提供相关资源链接和进一步的问题引导他们深入学习。</think>### P-Tuning V2 原理与实现解析 P-Tuning V2是参数高效微调（Parameter-Efficient Fine-Tuning）方法的重要改进，其核心思想是通过可学习的连续提示向量（learnable prompt embeddings）引导模型适应下游任务。 #### 一、核心技术原理 1. **连续提示向量注入** - 在输入层和所有Transformer层插入可训练的连续提示向量 - 数学表达： $$ h_{i}^{'} = \text{TransformerLayer}([p_i; h_i]), \quad p_i \in \mathbb{R}^{k \times d} $$ 其中$p_i$为第$i$层的提示向量，$k$为提示长度，$d$为隐藏层维度 2. **对比学习优化**（基于引用[1]） - 通过对比正负样本优化提示向量空间分布 - 目标函数： $$ \mathcal{L}_{contrast} = -\log\frac{e^{s(q,p^+)}}{e^{s(q,p^+)} + \sum_{p^-}e^{s(q,p^-)}} $$ #### 二、实现步骤（基于PyTorch/Hugging Face） ```python from transformers import AutoModel import torch.nn as nn class PTuningV2(nn.Module): def __init__(self, model_name, prompt_length=20): super().__init__() self.backbone = AutoModel.from_pretrained(model_name) self.hidden_size = self.backbone.config.hidden_size # 初始化各层提示向量 self.prompt_embeddings = nn.ParameterList([ nn.Parameter(torch.randn(prompt_length, self.hidden_size)) for _ in range(self.backbone.config.num_hidden_layers + 1) ]) def forward(self, input_ids, attention_mask): embeddings = self.backbone.embeddings(input_ids) # 输入层提示拼接 inputs_embeds = torch.cat([ self.prompt_embeddings[0].expand(input_ids.size(0), -1, -1), embeddings ], dim=1) # 逐层处理 hidden_states = inputs_embeds for i, layer in enumerate(self.backbone.encoder.layer): # 添加层提示 prompt = self.prompt_embeddings[i+1].expand(hidden_states.size(0), -1, -1) hidden_states = torch.cat([prompt, hidden_states], dim=1) hidden_states = layer(hidden_states, attention_mask=attention_mask)[0] return hidden_states ``` #### 三、关键配置参数 | 参数 | 推荐值 | 作用 | |-------|---------|------| | `prompt_length` | 20-100 | 提示向量长度 | | `learning_rate` | 1e-4 | 提示向量学习率 | | `contrastive_weight` | 0.2 | 对比损失权重 | #### 四、应用场景 1. 少样本学习（<100训练样本） 2. 多任务联合微调 3. 领域适应（医疗/法律等专业领域）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值