Prompt Tuning与P-Tuning：优化策略大揭秘

Prompt Tuning”和“P-Tuning”区别

Prompt加上token进行优化

P-Tuning 对权重参数优化了

1. Prompt Tuning（提示调优）

• 核心思想：
  不对预训练模型的原始参数进行调整，而是在输入侧添加可训练的连续向量（被称作软提示，Soft Prompt）。通过对这些软提示进行优化，从而引导模型产生预期的输出。
• 技术特点：
  • 训练过程中，仅软提示的参数会被更新，预训练模型的权重保持不变。
  • 软提示一般是连续的向量，并非自然语言形式。
  • 可以理解为是一种轻量级的微调方式，在计算和存储方面的成本都比较低。
• 适用场景