大模型PEFT技术原理(二):P-Tuning、P-Tuning v2

        随着预训练模型的参数越来越大,尤其是175B参数大小的GPT3发布以来,让很多中小公司和个人研究员对于大模型的全量微调望而却步,近年来研究者们提出了各种各样的参数高效迁移学习方法(Parameter-efficient Transfer Learning),即固定住Pretrain Language model(PLM)的大部分参数,仅调整模型的一小部分参数来达到与全部参数的微调接近的效果(调整的可以是模型自有的参数,也可以是额外加入的一些参数)。本文将介绍一些常见的参数高效微调技术,比如:BitFit、Prefix Tuning、Prompt Tuning、P-Tuning、P-Tuning v2、Adapter Tuning及其变体、LoRA、AdaLoRA、QLoRA、MAM Adapter、UniPELT等。

推荐阅读列表:

大模型PEFT技术原理(一):BitFit、Prefix Tuning、Prompt Tuning

4、P-Tuning

论文地址:https://arxiv.org/pdf/2103.10385.pdf

代码地址:https://github.com/THUDM/P-tuning

       P-Tuning和Prompt-Tuning几乎是同时出现,思路也很接近。之前很多Prompt设计都是人工的,不仅构造难度大,而且性能也不太稳定,很可能创建出导致性能大幅下降的对抗性提示。比如GPT3采用人工构造的模版来做上下文学习(in context learning),但人工设计的模版的变化特别敏感,加一个词或者少一个词,或者变动位置都会造成比较大的变化,如下图所示:

图片

       鉴于这些问题,最近的工作重点是自动搜索离散提示,也取得了一定的效果。然而,由于神经网络本质上是连续的,离散的提示可能是次优的。在这项工作中,作者提出了一种新方法——P-tuning,在连续空间中自动搜索提示。P-tuning 利用很少的连续自由参数来作为预训练语言模型输入的提示,并使用梯度下降作为离散提示搜索的替代方法来优化连续提示。

作者认为直接通过虚拟token引入prompt存在两个问题:

  • 离散性:如果用预训练词表的embedding初始化,经过预训练的词在空间分布上较稀疏,微调的幅度有限,容易陷入局部最优。这里到底是局部最优还是有效信息prior其实很难分清
  • 整体性:多个token的连续prompt应该相互依赖作为一个整体

      针对这两个问题,作者使用双向LSTM+2层MLP来对prompt进行表征, 这样LSTM的结构提高prompt的整体性,Relu激活函数的MLP提高离散型。这样更新prompt就是对应更新整个lstm+MLP部分的Prompt Encoder。下面是p-tuning和离散prompt的对比

图片

       相比Prefix Tuning,P-Tuning加入的可微virtual token,但仅限于输入层,没有在每一层都加;另外,virtual token的位置也不一定是前缀,插入的位置是可选的。这里的出发点实际是把传统人工设计模版中的真实token替换成可微的virtual token。

      在知识探测任务中,默认是固定LM只微调prompt。效果上P-tuning对GPT这类单项语言模型的效果提升显著,显著优于人工构建模板和直接微调,使得GPT在不擅长的知识抽取任务中可以BERT的效果持平。

图片

局限性

  • 可解释性差:这是所有连续型prompt的统一问题;
  • 收敛更慢: 更少的参数想要挖掘更大模型的知识,需要更复杂的空间搜索;
  • 可能存在过拟合:只微调prompt,理论上是作为探针,但实际模型是否真的使用prompt部分作为探针,而不是直接去拟合任务导致过拟合是个待确认的问题;
  • 微调可能存在不稳定性:prompt-tuning和p-tuning的github里都有提到结果在SuperGLUE上无法复现的问题;

5、P-Tuning v2

论文地址:https://arxiv.org/pdf/2110.07602.pdf

代码地址:https://github.com/THUDM/P-tuning-v2

        之前提到的Prompt Tuning,是只冻结大语言模型的参数来优化连续Prompts,这样可以大大减少每个任务的存储和训练时的内存使用,但是Prompt Tuning论文中表明当模型规模超过100亿个参数时,提示优化可以与全量微调相媲美。但是对于那些较小的模型(从100M到1B),提示优化和全量微调的表现有很大差异,这大大限制了提示优化的适用性。虽然在GLUE和SuperGLUE 基准测试上表现出一定的优势,然而在较难的硬序列标记任务(即序列标注)的有效性尚未得到验证。

       基于此,作者提出了P-tuning v2,它利用深度提示优化(如:Prefix Tuning),对Prompt Tuning和P-Tuning进行改进,作为一个跨规模和NLU任务的通用解决方案。

      与P-tuning相比,该方法在每一层都加入了Prompts tokens作为输入,而不是仅仅加在输入层,这带来两个方面的好处:

  • 更多可学习的参数(从P-tuning和Prompt Tuning的0.01%增加到0.1%-3%),同时也足够参数高效。
  • 加入到更深层结构中的Prompt能给模型预测带来更直接的影响。

图片

      具体做法基本同Prefix Tuning,可以看作是将文本生成的Prefix Tuning技术适配到NLU任务中,然后做了一些改进:

  • 移除重参数化的编码器:以前的方法利用重参数化功能来提高训练速度和鲁棒性(如:Prefix Tuning中的MLP、P-Tuning中的LSTM))。在 P-tuning v2 中,作者发现重参数化的改进很小,尤其是对于较小的模型,同时还会影响模型的表现。
  • 针对不同任务采用不同的提示长度:提示长度在提示优化方法的超参数搜索中起着核心作用。在实验中,作者发现不同的理解任务通常用不同的提示长度来实现其最佳性能,这与Prefix-Tuning中的发现一致,不同的文本生成任务可能有不同的最佳提示长度。
  • 引入多任务学习:先在多任务的Prompt上进行预训练,然后再适配下游任务。多任务学习对我们的方法来说是可选的,但可能是相当有帮助的。一方面,连续提示的随机惯性给优化带来了困难,这可以通过更多的训练数据或与任务相关的无监督预训练来缓解;另一方面,连续提示是跨任务和数据集的特定任务知识的完美载体。实验表明,在一些困难的序列任务中,多任务学习可以作为P-tuning v2的有益补充。
  • 回归传统的分类标签范式,而不是映射器:标签词映射器(Label Word Verbalizer)一直是提示优化的核心组成部分,它将one-hot类标签变成有意义的词,以利用预训练语言模型头。尽管它在few-shot设置中具有潜在的必要性,但在全数据监督设置中,Verbalizer并不是必须的,它阻碍了Prompt调优在需要无实际意义的标签和句子嵌入的场景中的应用。因此,P-Tuning v2回归传统的CLS标签分类范式,采用随机初始化的分类头(Classification Head)应用于tokens之上,以增强通用性,可以适配到序列标注任务,如下图所示:

图片

<think>好的,我现在需要帮用户整理关于P-Tuning v2和LoRA微调的典型面试问题及回答。首先,我得回忆一下这两种微调方法的基本概念和区别。P-Tuning v2主要是通过引入可训练的连续提示向量(prompt tuning),而LoRA则是通过低秩适配器在模型的权重矩阵中注入可训练参数。接下来,用户可能想知道面试中常被问到的问题类型,比如两者的对比、优缺点、适用场景等等。 用户可能希望这些问题能够覆盖理论理解、实际应用以及比较分析。因此,我需要分门别类地整理问题,比如基础概念题、对比分析题、实现细节题、应用场景题等。每个问题下需要简明扼要的回答,同时确保技术细节准确无误。例如,可能会问“P-Tuning v2的核心改进是什么?”这时候需要回答它解决了v1中的哪些问题,比如深度提示和参数效率。 另外,考虑到面试中可能出现的实战题,例如如何选择这两种方法,需要结合具体场景来分析。比如,如果资源有限,LoRA可能更适合,因为它参数更少,训练更快。而需要更好效果时,P-Tuning v2可能更优。同时,还要注意两者的结合使用,这在面试中可能是一个加分点。 还需要检查是否有常见的误解需要澄清,比如是否LoRA只能用于注意力层,或者P-Tuning v2是否需要修改模型结构。回答时要准确指出这些误解,并提供正确的信息。此外,面试官可能会问及参数效率、训练速度、显存占用等实际因素,这些都需要详细对比。 最后,要确保回答结构清晰,层次分明,使用适当的Markdown格式,如表格和代码块,来增强可读性。同时,语言要简洁,避免冗长,但又要覆盖关键点。可能还需要补充一些示例,比如代码片段,展示如何实现这两种方法,帮助用户更好地理解。</think>以下是针对P-Tuning v2和LoRA微调技术的典型面试问题及参考答案整理,采用结构化分类组织: --- ### 一、基础概念题 **Q1: 简述P-Tuning v2的核心改进** *A1:* - 解决v1版本的两大痛点: 1. **深度连续性**:在每一层Transformer都插入可训练提示向量(Prefix-tuning思路) 2. **参数效率**:通过多层共享提示参数减少参数量(典型配置:每层共享256维向量) - 数学形式: 对第$l$层输入的增强: $$ h^{(l)} = [P^{(l)}; h^{(l)}_{original}]W^{(l)} $$ 其中$P^{(l)}$为可训练提示向量 --- ### 、对比分析题 **Q2: LoRA与P-Tuning v2的本质区别** *A2:* | 维度 | LoRA | P-Tuning v2 | |------------|-------------------------------|------------------------------| | **修改位置** | 权重矩阵旁路($W + \Delta W$) | 输入空间扩展(添加prefix) | | **参数分布** | 分散在多层线性层 | 集中在输入/各层prefix | | **显存占用** | 较高(需缓存适配器梯度) | 较低(仅提示向量相关参数) | | **适配速度** | 更快收敛(直接修改权重) | 较慢(依赖prompt语义学习) | **Q3: 为什么LoRA常采用较小的rank值?** *A3:* 1. **低秩假设**:语言模型的权重更新具有低秩特性(rank=8时可保留95%以上信息) 2. **计算优势**:分解矩阵$B \cdot A$的参数量为$r(d_{in}+d_{out})$,当$r \ll min(d_{in},d_{out})$时显著减少参数 3. **过拟合控制**:限制秩相当于隐式正则化(实验表明rank=8在多数任务表现最佳) --- ### 三、实现细节题 **Q4: 如何为LoRA选择目标层?** *A4:* 1. **经验法则**: - 优先选择`query`和`value`投影层(对语义理解最关键) - 输出层`dense`适配对生成任务更有效 2. **实验策略**: ```python # Hugging Face实现示例 peft_config = LoraConfig( target_modules=["query", "value", "dense"], # 关键层 r=8, lora_alpha=32, lora_dropout=0.1 ) ``` **Q5: P-Tuning v2如何实现参数共享?** *A5:* 通过**分块共享策略**: - 将深度网络划分为多个块(如每4层为一组) - 同一块内共享相同的提示向量 - 代码实现示例: ```python class PrefixEncoder(nn.Module): def __init__(self, num_layers, hidden_size): self.prefix = nn.Parameter( torch.randn(num_layers//4, prefix_length, hidden_size) ) # 每4层共享一个prefix ``` --- ### 四、应用场景题 **Q6: 何时选择LoRA/P-Tuning v2?** *A6:* 决策树分析 ```mermaid graph TD A[目标任务需求] --> B{需要快速迭代?} B -->|是| C[LoRA] B -->|否| D{数据量小于1万条?} D -->|是| E[P-Tuning v2] D -->|否| F[Full Fine-tuning] ``` **Q7: 如何结合两种方法?** *A7:* 混合微调策略(Hybrid-tuning): 1. **底层用LoRA**:增强基础语义理解能力 2. **高层用P-Tuning**:精细控制生成方向 3. 参数分配比例建议:7:3(LoRA层数 : P-Tuning层数) --- ### 五、实战陷阱题 **Q8: 为什么LoRA微调后模型会出现输出重复?** *A8:* 典型问题与解决方案: - **根本原因**:低秩适配导致生成多样性下降 - **调试方法**: 1. 增加`lora_dropout`值(0.1→0.3) 2. 调整`lora_alpha`(建议保持alpha/r=4) 3. 添加生成惩罚项: ```python model.generate(..., repetition_penalty=1.2) ``` **Q9: P-Tuning v2在长文本任务中效果差的可能原因** *A9:* 1. **位置编码冲突**:添加的prefix挤占原始token位置信息 2. **解决方案**: - 使用RoPE等相对位置编码 - 限制prefix长度(建议不超过总长度的10%) --- ### 六、前沿扩展题 **Q10: 如何理解LoRA与QLoRA的关系?** *A10:* - **QLoRA三要素**: 1. **4-bit量化**:通过NF4数据类型压缩原始模型 2. **双适配器**:在量化和反量化步骤插入LoRA 3. **分页优化器**:解决显存峰值问题 - **关键优势**:相比原始LoRA显存占用减少33%(7B模型可在24GB显存运行) --- ### 附:高频考点速记表 | 考点 | LoRA要点 | P-Tuning v2要点 | |----------------------|-------------------------------------|-----------------------------------| | 核心创新点 | 低秩矩阵分解 | 深度连续提示向量 | | 参数效率 | 约0.1%原始参数量 | 约0.3%原始参数量 | | 显存占用 | 较高(需存储适配器梯度) | 较低(仅提示向量) | | 典型应用场景 | 数据量中等(1万-10万条) | 小样本(<1千条) | | 与全量微调的效果差距 | 差距较小(平均差2-3%) | 差距较大(差5-8%) | 掌握这些核心要点,可以应对90%以上的技术面试相关问题。实际回答时建议结合具体实验数据(如「在XX数据集的实验中,LoRA仅用1.5%参数即达到97%的全量微调效果」)增强说服力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wshzd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值