P-Tuning，提升预训练语言模型的自然语言理解能力

人工智能咨询培训老师叶梓 转载标明出处

预训练语言模型在具体任务上的表现往往依赖于精心设计的离散提示（prompts），但这些提示有着不稳定性，微小的变化可能导致性能的大幅下降。清华大学和麻省理工学院的研究团队提出了一种名为P-Tuning的新方法，通过引入可训练的连续提示嵌入（continuous prompt embeddings），与离散提示相结合，旨在提高模型的稳定性和性能。图1为使用P-Tuning方法在SuperGLUE的7个开发数据集上的平均得分。显示P-Tuning方法相对于原始提示（没有使用P-Tuning）在性能上的提升。

论文链接：https://arxiv.org/pdf/2103.10385

P-Tuning方法

Prompting 是一种技术，它通过将自然语言模式作为额外的输入添加到预训练语言模型中，以适应下游任务。尽管这种技术在多个自然语言处理任务上取得了显著的性能提升，但如何编写高性能的离散提示仍然是一个挑战。研究者通过在LAMA知识探测任务上的初步实验发现，离散提示的性能非常不稳定。例如，在表1中，仅仅在提示中改变一个词，就可能导致性能下降20个百分点。