LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等]

由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一来需要相当多的硬件设备（GPU），二来需要相当长的训练时间。因此，我们可以选择一条捷径，不需要微调LLM的全量参数，而只需要新增少量的参数，通过固定原始模型参数，而只需要微调新增的少量参数，从而达到接近使用全参数full-tuning的效果。本章主要讲述在LLM时代，当下主流的微调方法。

1.Adapter tuning(2019)

(1) 论文信息

摘要内容：微调大型预训练模型在自然语言处理中是一种有效的迁移学习机制。然而，在存在许多下游任务的情况下，微调显得参数效率低下：因为每个任务都需要一个全新的模型。作为替代方案，我们提出了带有适配器模块的迁移学习方法。适配器模块能够生成一个紧凑且可扩展的模型；它们仅为每个任务增加少量可训练参数，并且可以在不重新访问先前任务的情况下添加新任务。原始网络的参数保持不变，从而实现了高度的参数共享。

为了展示适配器的有效性，我们将最近提出的BERT Transformer模型迁移到了26个不同的文本分类任务中，包括GLUE基准测试。适配器在仅为每个任务增加少量参数的情况下，达到了接近最先进性能的水平。在GLUE基准测试中，我们在仅为每个任务增加3.6%参数的情况下，实现了与完整微调性能相差不到0.4%的结果。相比之下，微调则需要对每个任务的100%参数进行训练。

(2) 思路

• 固定Transformer的全部参数
• 在Transformer的每一个Block里嵌入一些新初始化的Adapter Network。
  • 其中Adapter由两层MLP组成，分别负责将Transformer的表征降维和升维

(3) 优势

• 只需要添加不到5%的可训练参数，即可以几乎达到全参数训练的效果
• 在训练过程中大大节省了训练时间，做到时间有效性。
• 基本不降低模型在下游任务中的表现

2.Prefix tuning(2021)

(1) 论文信息

摘要内容:微调是实际上利用大型预训练语言模型执行下游任务的首选方法。然而，这种方法会修改所有语言模型的参数，因此必须为每个任务存储完整的副本。在本文中，我们提出了前缀微调（prefix-tuning），这是一种针对自然语言生成任务的轻量级微调替代方案。该方法保持语言模型参数不变，但优化了一个小的、连续的任务特定向量（称为前缀）。前缀微调受到提示机制的启发，允许后续标记关注这个前缀，就像它们是“虚拟标记”一样。我们将前缀微调应用于GPT-2进行表格到文本的生成，以及应用于BART进行文本摘要。我们发现，通过仅学习0.1%的参数，前缀微调在全数据设置下取得了与微调相当的性能，在低数据设置下超越了微调，并且更好地推广到了训练过程中未见过的主题示例。

(2) 思路

固定预训练参数，为每一个任务额外添加一个或多个embedding，且利用多层感知编码prefix。不再像prompt tuning继续输入LLM。

(3) 结构

在seq前面加idx个虚拟token，以此构造一个连续的token，作为微调参数（结构一样是transformer）

固定LLM的参数

由于发现直接加prefix层，模型不稳定，故在其后加了MLP层，用于reparametrization参数 PθP_θPθ​ Pθ[i:]=MLPθ(Pθ′[i,:])P_θ[i:]=MLP_θ(P’_θ[i,:])Pθ​[i:]=MLPθ​(Pθ′​[i,:])

原始PθP_θPθ​维度为∣Pidx∣×dim(hi) \mid P_{idx} \mid \times dim(h_{i})∣Pidx​∣×dim(hi​)，Pθ′P’_θPθ′​维度为∣Pidx∣×k \mid P_{idx}\mid \times k∣Pidx​∣×k，经过MLPMLPMLP复原原始维度。

针对不同任务，有不同最优的k值，经过实验，作者建议

• Table-to-table任务，k=512
• Summarization任务，k=800

(4) 优势

• 在Table2Text任务上，只有0.1%参数量级的prompt tuning效果要优于微调

(5) 缺点

• 摘要任务上，prompt的效果要略差于微调

3.Prompt tuning(2021)

(1) 论文信息

• 摘要： 在这项工作中，我们探索了“提示微调”（prompt tuning），这是一种简单而有效的机制，用于学习“软提示”来条件化冻结的语言模型以执行特定的下游任务。与GPT-3使用的离散文本提示不同，软提示是通过反向传播学习的，并且可以根据任意数量的标记示例进行调整。我们的端到端学习方法在性能上大幅超越了GPT-3的少量样本学习。

更值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能。这一发现尤为重要，因为大型模型的共享和部署成本高昂，而能够重用一个冻结的模型来执行多个下游任务可以减轻这一负担。

我们的方法可以看作是最近提出的Li和Liang（2021）的“前缀微调”方法的简化版本，我们提供了与此方法以及其他类似方法的比较。最后，我们展示了使用软提示条件化冻结模型在提高域迁移鲁棒性和实现高效“提示集成”方面的优势。

(2) 思路

固定预训练LLM的参数，为每一个任务额外添加一个或多个embedding。之后拼接query正常输入LLM，并只训练这些embedding

(3) 优势

• 效果优于GPT-3的few-shot learning
• 当模型参数量达100亿时，接近于全模型微调效果

4.P-tuning（2021）

V2版本：2023更新

(1) 论文信息

摘要：使用自然语言模式对预训练语言模型进行提示已被证明在自然语言理解（NLU）任务中有效。然而，我们的初步研究表明，手动设计的离散提示往往导致性能不稳定——例如，仅改变提示中的一个单词就可能导致性能大幅下降。为此，我们提出了一种新颖的方法P-Tuning，该方法在离散提示的基础上结合了可训练的连续提示嵌入。实验表明，P-Tuning不仅通过最小化不同离散提示之间的差距来稳定训练过程，而且在一系列NLU任务（包括LAMA和SuperGLUE）上显著提高了性能。P-Tuning在完全监督和少量样本设置下，对冻结和微调的语言模型均普遍有效。

(2) 思路

固定LLM参数，用多层感知机和LSTM对prompt进行编码，编码后与其他向量进行拼接，正常输入LLM。

注意，训练之后只保留prompt编码之后的向量，无需保留编码器。

(3) 结构

对于prompt模板，使用MLP+LSTM进行编码，替代原始的input embedding

对于原始的输入input和target，则使用原始的input embedding

(4) 使用方式

离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化

(5) 优势

• 能缓解离散prompt方法，导致的模型输出结果到达局部最优

(6) 缺点

• 查找的最优提示，可能是次优的
• 在小参数量模型中表现差（小参数模型如Bert，330M），上了10B的模型效果才开始可以持平
• 序列标注等对推理和理解要求高的任务，prompt-tuning效果会变差

5.P-tuning v2 （2022）

(1) 论文信息

摘要：提示微调（Prompt Tuning），该方法仅对冻结的语言模型中的连续提示进行微调，极大地减少了训练时每个任务的存储和内存使用。然而，在NLU（自然语言理解）的背景下，先前的工作表明，对于正常大小的预训练模型，提示微调的性能并不理想。我们还发现现有的提示微调方法无法处理复杂的序列标注任务，这表明其缺乏普适性。

我们提出了一个新颖的实验发现：经过适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它在性能上与微调相当，但仅需要调整0.1%-3%的参数。我们的方法P-Tuning v2是Deep Prompt Tuning（Li和Liang, 2021; Qin和Eisner, 2021）的一种实现，针对NLU进行了优化和适配。鉴于P-Tuning v2的普适性和简单性，我们相信它可以作为微调的替代方案，并为未来的研究提供一个强大的基线。

(2) 思路

• 固定LLM参数
• 类似Prefix-tuning
  • 在Deep FT层：在seq前面加n个虚拟token，以此构造一个连续的token，作为微调参数（结构一样是transformer）
• 在多种任务上下进行微调
• 完全变为生成模型，无需verbalizer

(3) 优势

• 在小、大模型上，效果均优于P-tuning。
• 当参数量达10B，效果相当于FT

6.LoRA（2021）

(1) 论文信息

摘要：自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大的模型，全面微调（即重新训练所有模型参数）变得不太可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例都有175B参数，成本是极其昂贵的。我们提出了低秩适应（Low-Rank Adaptation，简称LoRA），该方法冻结预训练模型的权重，并在Transformer架构的每一层中注入可训练的低秩分解矩阵，从而大大减少了下游任务的可训练参数数量。与使用Adam对GPT-3 175B进行微调相比，LoRA可以将可训练参数数量减少10,000倍，GPU内存需求减少3倍。尽管LoRA的可训练参数较少，训练吞吐量更高，并且与适配器不同，没有额外的推理延迟，但它在RoBERTa、DeBERTa、GPT-2和GPT-3上的模型质量上仍然与微调相当或更好。我们还对语言模型适应中的秩不足问题进行了实证调查，这揭示了LoRA的有效性

(2) 思路

固定LLM参数，在每一个self-attention层中，加入一个low-rank的矩阵，即B×AB \times AB×A。在微调时，只更新B×AB \times AB×A的参数。

(3) 结构

在每一层self-attention中，添加新的参数 △W\bigtriangleup W△W

h=W0x+△Wx=W0x+BAxh=W_0x+\bigtriangleup Wx=W_0x+BAxh=W0​x+△Wx=W0​x+BAx

其中，预训练模型的原始参数为W0∈Rd×kW_0 \in R^{d \times k}W0​∈Rd×k。

LoRA的新增参数为B∈Rd×rB \in R^{d \times r}B∈Rd×r，A∈Rr×kA \in R^{r \times k}A∈Rr×k。BBB 初始化为一个全0矩阵，AAA 是一个高斯随机初始化的矩阵。BBB 初始化为全0矩阵的目的是，在开始训练时，让B×AB \times AB×A等于0矩阵，即参数从0开始。

其中LoRA的中间维度rrr，远小于原始模型的维度，即r≪min(d,k)r\ll min(d,k)r≪min(d,k)

(4) 学习目标

原始的LLM，一般也是CLM (Causal Language Model/Conditional Language Model)，学习目标为

而加入LoRA后，学习目标为

(5) 配置

• 在多个部位(Q/K/V/Output)(Q/K/V/Output)(Q/K/V/Output)同时添加△W\bigtriangleup W△W ，会比只在单一部分上添加权重△W\bigtriangleup W△W，效果要好
• 在wikiSQL/MultiNLI数据集上测试得出结论：小的γ值，能达到较好好的效果（一般为4-8）

(6) 优势

• 用于低资源的场景。也就是硬件设备资源有限的情况下。
• 更新参数量少。对于175B的GPT模型，使用该方法只需要额外更新0.01%的参数量。
• 是全参数微调（FT）的一种替代方案

(7) 缺点

• 全参数微调（FT）效果要比LoRA稍微要好

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.2.1 什么是Prompt
  • L2.2.2 Prompt框架应用现状
  • L2.2.3 基于GPTAS的Prompt框架
  • L2.2.4 Prompt框架与Thought
  • L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
  • L2.3.1 流水线工程的概念
  • L2.3.2 流水线工程的优点
  • L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
  • L3.1.1 Agent模型框架的设计理念
  • L3.1.2 Agent模型框架的核心组件
  • L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
  • L3.2.1 MetaGPT的基本概念
  • L3.2.2 MetaGPT的工作原理
  • L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
  • L3.3.1 ChatGLM的特点
  • L3.3.2 ChatGLM的开发环境
  • L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
  • L3.4.1 LLAMA的特点
  • L3.4.2 LLAMA的开发环境
  • L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓