ACL 2022 | chatglm微调神器P-Tuning v2论文学习

一、概述

title：P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

论文地址：https://arxiv.org/abs/2110.07602

代码：GitHub - THUDM/P-tuning-v2: An optimized deep prompt tuning strategy comparable to fine-tuning across scales and tasks

1.1 Motivation

1. 之前的prompt tuning方法对正常大小的模型（小模型例如BERT）效果比较差，另外对于有些任务（例如序列标注）效果也不太行。
2. 本文提出一个方法适应于不同大小的模型，并且对各种NLU任务效果都不错，

1.2 Methods

1. 之前的prompt tuning方法只在embedding层加了prompt参数，本文在其他层也添加可训练的prompt参数，提升其适用各种任务的容量（能力）

1.3 Conclusion

1. 添加可训练的参数，提升其适应各式各样任务的能力
2. 加的位置越深（越靠近输出层），效果越好

1.4 limitation

1. 创新新可能不太够，但是提供了一个强的baseline，具有高的准确率和参数有效性。

二、详细内容

1 与v1版本效果对比，可以适用于各种大小的模型

• v1模型在330M的模型上，效果比fine-tuning差的比较多，如今v2版本，基本和fine-tuning在各种尺寸上效果都差别不大了。

2 与v1版本模型结构对比

• v1:

• • 因为序列长度的限制，可训练的参数还比较少
  • 输入的embeding没有直接影响模型的输出

• v2

• • 每一层都加上可训练的参数，可训练的参数变多了（0.01%->0.1%-0.3%）,对各式各样的任务，有更大的容量（能力）去适应
  • prompt加到更深的层次，可以直接影响输出

3 模型效果

• 在NLU任务上，不同尺寸的模型，效果都比v1版本好

• 在序列标注任务，QA任务，语义角色Labeling上，效果也比v1版本好
• Multi-task：多任务训练初始化，可以获得持续的提升

4 同样数量的连续prompts加的层数越深（越靠近输出层）效果越好