但是这些表现低于有监督的方法,但是我们在工作当中,我们引入了PET
利用模板的训练
Pattern Exploiting Training(PET)
把分类变成了完形填空的问题,来帮助模型理解任务
最后卖弄一下他的论文
最后在训练集上运用了有监督的训练。
并且远远的很强的半监督的方法在有标签的样本数量不够的情况下
如果一篇,图1展现不了要做的工作,在表达方面这是不太好的。
PET是做情感分类的
有一定数量的模板,来把我们的样本来创建为一个任务描述,对于每个模板,有一个预训练模型来进行描述。
来训练PLM
best pizza ever 映射为一个模板
it was ____
PLM就可以知道我们这个任务是干嘛
并且预测这个地方会mask的值是什么
来计算一个梯度,来更新一个参数,更新好的PLM来进行学习
减少训练样本的数量
用三个左侧训练好的来给没有标签的样本打标签
集成
左边属于小T, 右边属于小D
当我们在图里面理解不了的,之后我们就去文章里面去理解。
T是什么?每一个模板,都单独来作为一个小的训练集。
T是一个小的训练集。可能是一个几十个
现在有一个几十个训练集,有文本,有标签
文本变成模板
训练多个PLM
D是用所有模型的继承用来标注一个无标签的数据集
D里面都是无标签的。来预测他的标签,取个平均值。
给D中的标签打上一个伪标签。
这边又可以作为一个训练样本,再来真正训练一个分类器,C, C是我们真正的一个分类器。
主动学习是指:我用一些模型来标出一些软标签,我来选择一些最难分类的样本我自己人工的打出来,这叫主动学习
而PET里面是全部都是机器打出来的,没有人打出来。
prompt加半监督
prompt+半监督+ensemble
文本生成必须用promt
再运用到GPT训练
今天就学完了!!!