0. NLP 的四种范式
最近几年,有人将近代 NLP 技术的发展总结为四种范式,他们分别是:
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练,精调范式 (Pre-train, Fine-tune)
P4. 预训练,提示,预测范式 (Pre-train, Prompt, Predict)
在不同范式变迁过程中,我们可以发现一些规律,比如:
规律1: 每个范式都会涉及繁琐的,需要人来参与(提供先验)的工程(engineering)
- P1 特征工程(Feature Engineering):进行“无聊”的特征模版定义环节
- P2 结构工程(Architecture Engineering): 神经网络虽然解放手动配置特征模版所需要的人力,但是也需要人工去设计合适网络结构。
- P3 目标函数挖掘 (Objective Engineering): 这个过程需要引入额外的目标函数到预训练语言模型上,以便让其更适配下游任务。
- P4 Prompt挖掘工程:这个过程往往不对预训练语言模型做太多改动,而是希望通过对合适 prompt 的利用将下游任务建模的方式重新定义