本文探讨了NLP的四种范式，重点讲解了Prompt学习。Prompt通过特定模板重构任务，使下游任务适应预训练语言模型，与fine-tuning相比，下游任务做出更多牺牲。随着预训练模型的发展，更好地利用这些模型成为了关键，Prompt可能是实现这一目标的一个方法。
0. NLP 的四种范式
最近几年，有人将近代 NLP 技术的发展总结为四种范式，他们分别是:
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练，精调范式 (Pre-train, Fine-tune)
P4. 预训练，提示，预测范式 (Pre-train, Prompt, Predict)
在不同范式变迁过程中，我们可以发现一些规律，比如：
规律1: 每个范式都会涉及繁琐的，需要人来参与(提供先验)的工程(engineering)
- P1 特征工程(Feature Engineering)：进行“无聊”的特征模版定义环节
- P2 结构工程(Architecture Engineering): 神经网络虽然解放手动配置特征模版所需要的人力，但是也需要人工去设计合适网络结构。
- P3 目标函数挖掘 (Objective Engineering): 这个过程需要引入额外的目标函数到预训练语言模型上，以便让其更适配下游任务。
- P4 Prompt挖掘工程：这个过程往往不对预训练语言模型做太多改动，而是希望通过对合适 prompt 的利用将下游任务建模的方式重新定义
最低0.47元/天 解锁文章
954
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
