ERNIE3.0多分类任务应用详细教程代码

小样本学习简介：

二分类/多分类任务在商品分类、网页分类、新闻分类、医疗文本分类等现实场景中有着广泛应用。现有的主流解决方案是在大规模预训练语言模型进行微调，因为下游任务和预训练任务训练目标不同，想要取得较好的分类效果往往需要大量标注数据，因此学界和业界开始研究如何在小样本学习（Few-shot Learning）场景下取得更好的学习效果。

提示学习(Prompt Learning) 的主要思想是通过任务转换使得下游任务和预训练任务尽可能相似，充分利用预训练语言模型学习到的特征，从而降低样本需求量。除此之外，我们往往还需要在原有的输入文本上拼接一段“提示”，来引导预训练模型输出期望的结果。

我们以Ernie为例，回顾一下这类预训练语言模型的训练任务。 与考试中的完形填空相似，给定一句文本，遮盖掉其中的部分字词，要求语言模型预测出这些遮盖位置原本的字词。

因此，我们也将多分类任务转换为与完形填空相似的形式。例如影评情感分类任务，标签分为1-正向，0-负向两类。

在经典的微调方式中，需要学习的参数是以[CLS]向量为输入，以负向/正向为输出的随机初始化的分类器。

在提示学习中，我们通过构造提示，将原有的分类任务转化为完形填空。如下图所示，通过提示我[MASK]喜欢。，原有1-正向，0-负向的标签被转化为了预测空格是很还是不。此时的分类器也不再是随机初始化，而是利用了这两个字的预训练向量来初始化，充分利用了预训练模型学习到的参数。

对于标注样本充足的场景可以直接使用预训练模型微调实现文本多分类，对于尚无标注或者标注样本较少的任务场景我们推荐使用小样本学习，以取得比微调方法更好的效果。

下边通过新闻分类的例子展示如何使用小样本学习来进行文本分类。

http://t.csdn.cn/ExxxT