NLP领域的小样本学习

few-shot: 通过较少的学习样本，实现比较好的识别能力。

技术迭代：

基于bert的标准微调范式在小样本效果比较差。

为什么小样本容易过拟合？

因为预训练有大量的参数，如果样本非常少，那么训练参数量就会远远高于样本量，造成过拟合！ 

PET算法：

通过人为修改模板，把分类标签转化成完形填空。

通过引入一段话，把分类标签带入到训练样本中，实现完形填空的功能。

PET的缺点，写的不同的模板会影响效果。

 P-Tuning模型

基于PET使用伪模板。

 一般而言，p-tuing效果优于PET范式。但是对于标签特别多，以及蕴含任务需要去理解的时候，p-tuing任务的效果不是很好。蕴含任务就是无法把标签变成完形填空的形式。

 EFL ： 把分类任务转换成二分类蕴含任务。

 关于paddle-NLP的小样本增强技术；

R-drop:

 Rdop做的是隐式数据增强，把一句话，变成两个接近的token。