prompt learning相关介绍

prompt learning相关介绍

思维导图

关于Prompt的相关内容分成三个方面介绍，做成PPT梳理给大家

挑战

• prompt的设计问题仍然是一个值得探讨的方向。目前使用Prompt的工作大多集中分类任务和生成任务，其它任务则较少。如何针对不同的下游任务设计prompt？
• 模型的表现同时依赖于使用的模板和标签的转化，如何同时搜索或者学习出两者联合的最好效果仍然很具挑战性。
• Prompt的理论分析和可解释性。尽管Prompt方法在很多情况下都取得了成功，但是目前prompt-based learning的理论分析和保证还很少，使得人们很难了解Prompt为什么能达到好的效果。
• 由于PLM在预训练过程中见过了大量的人类世界的自然语言，所以很自然地受到了影响。比如太阳有几个眼睛。再比如说训练语料中有很多的"The capital of China is “Beijing.”，导致模型认为下次看到"capital" 的时候都会预测出"Beijing",而不是着重看到底是哪个国家的首都。因此如何用prompt debias PLMs 学习到的偏置？