文章探讨了Lora与AdaLora两种技术的异同，以及P-tuning和Prompttuning在模型微调上的区别。P-tuning主要修改大模型的Embedding，而P-tuningV2则进一步增加了参数。PromptTuning则采取固定预训练模型参数，仅更新输入模板tokens的方法。这些方法都涉及Transformer架构中的参数调整策略。
Lora 和 AdaLora的区别和联系？
P-tuning和Prompt tuning的区别和联系？
P-Tuning，仅对大模型的Embedding加入新的参数。
P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数。
Prompt Tuning 方式可以看做是 Prefix Tuning 的简化，固定整个预训练模型参数，只允许将每个下游任务的额外 k 个可更新的 tokens (作为template的tokens)前置到输入文本中，也没有使用额外的编码层或任务特定的输出层。
原文链接：https://zhuanlan.zhihu.com/p/621700272
不同参数高效微调的模块在transformer中的位置：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
