2018 ACL 论文
Strong Baselines for Neural Semi-supervised Learning under Domain Shift
不同数据集的迁移学习
MT-Tri方法在情感分析上(无监督域适应)超过DANN方法
半监督学习结合了监督学习和无监督学习方法,能在有标签但标签不完整的数据中使用机器学习算法。本文重点介绍半监督学习算法中特殊算法,它们能在未标记数据上生成代理标签(proxy-label),并将其与已经标记好的数据共同使用。这些标签是模型本身或其变体生成的,无需额外监督——这意味着它们可能并不能反映事实,是嘈杂的、微弱的,但我们还是能从中提取到一些有用的学习信号。
a) self-training (Self);
b) tri-training (Tri);
c) tri-training with disagreement (Tri-D); and
d) asymmetric tri-training (Saito et al., 2017).
e) MT-Tri
Self-training(自训练算法)
Self-training有一个模型m、一个含标签训练数据集L和一个不含标签数据集U。每次迭代中,模型m会基于标签集C,为U中的样本x生成一个标签概率m(x)。如果m(x)大于阈值τ,我们就用p(x)=argmax m(x)为样本x生成一个伪标签(pseudo-label),然后把它归入训练集L中。
这个过程通常要重复固定次数的迭代,直到为