大语言模型的预训练[3]之Prompt Learning：Prompt Engineering、Answer engineering、Multi-prompt learning详情

大语言模型的预训练[3]之Prompt Learning：Prompt Engineering、Answer engineering、Multi-prompt learning、Training strategy详解

1.Prompt Learning

1.1 Prompt Learning 的出现背景

目前学术界一般将 NLP 任务的发展分为四个阶段，即 NLP 四范式：：

1. 第一范式：传统机器学习模型的范式，基于全监督学习（fully supervised learning）的方法。通过构建特征工程（feature engineering），利用领域知识从数据中提取好的特征，直接解决下游任务。例如tf-idf特征 + 朴素贝叶斯等机器算法。

2. 第二范式：基于深度学习模型的范式，通过设计结构工程（architecture engineering），