Strong Baselines for Neural Semi-supervised Learning under Domain Shift半监督学习

2018 ACL 论文
Strong Baselines for Neural Semi-supervised Learning under Domain Shift

不同数据集的迁移学习
MT-Tri方法在情感分析上（无监督域适应）超过DANN方法

半监督学习结合了监督学习和无监督学习方法，能在有标签但标签不完整的数据中使用机器学习算法。本文重点介绍半监督学习算法中特殊算法，它们能在未标记数据上生成代理标签（proxy-label），并将其与已经标记好的数据共同使用。这些标签是模型本身或其变体生成的，无需额外监督——这意味着它们可能并不能反映事实，是嘈杂的、微弱的，但我们还是能从中提取到一些有用的学习信号。

a) self-training (Self);
b) tri-training (Tri);
c) tri-training with disagreement (Tri-D); and
d) asymmetric tri-training (Saito et al., 2017).
e) MT-Tri
Self-training（自训练算法）
Self-training有一个模型m、一个含标签训练数据集L和一个不含标签数据集U。每次迭代中，模型m会基于标签集C，为U中的样本x生成一个标签概率m(x)。如果m(x)大于阈值τ，我们就用p(x)=a