1 简介
本文根据2020年《Self-training Improves Pre-training for Natural Language Understanding》翻译总结。
自训练(Self-training)是一种半监督学习方法,使用标注数据训练一个好的teacher模型,然后使用该teacher模型对未标注的数据进行标注,最后使用(标注数据和)非标注数据联合训练一个student模型。本文训练student时没有使用原训练集的标注数据,因为实验发现没有明显的效果提升。
本文提出一种数据增强方法,SentAugment,用网络上爬取的数据来对给定的任务建立“域内(in-domain)“数据。
2 SentAugment
如下图所示,1)基于下游任务数据训练一个teacher;2)采用一个和下游任务没有关系的universal paraphrastic sentence encoder(输出相似语句的相似embedding表达),用最邻近方法来选择网上抓取的数据。3)第2步选择出来的语句让teacher进行标注,并选择top k个;4)用第3步的数据训练student。
我们方法主要是指上面的第2步。
3 实验结果
我们的方法(+ST)提升了原来的模型的效果。
4 Ablation study
我们试了下面3种数据增强方法,主要是指第2章节中训练集embedding获取的方法,当获取到训练集的embedding,我们就可以采用cosine 相似方法,在未标注数据中寻找相似的语句了。all-avg: 采用训练集的所有样例的sentence embedding的平均;label-avg:针对每种label建立一个embedding,即训练集中每种label的sentence embedding的平均;per-sent:对训练集中每个语句建立一个embedding。
如下表所示,label-avg表现较好。
Teacher对未标注数据进行标注时,我们发现采用连续label(logits、概率)比离散的好。