为什么预训练语言模型微调少量的参数效果好？

为什么微调少量的参数效果好？

预训练语言模型泛化性的过程其实就是在优化各类任务的公共低维本征子空间中非常少量的几个参数，prefix tuning中验证了通过更新少量的prefix（也就是prompt的编码参数）就可以达到很好的效果。基于微调预训练语言模型计算量大，内存耗费高。所以我们不必微调它，保留预训练的参数，通过调整prefix的参数达到优化公共低维本征子空间的目的。具体做法是构建任务相关的模板将下游任务的输入形式构造成预训练的形式。

参考《Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning》
《prefix tuning》