Unsupervised Data Augmentation For Consistency Training 论文阅读

Unsupervised Data Augmentation For Consistency Training 论文阅读

UDA这篇文章针对的是半监督学习中无标签数据的增强，论文提出，使用有标签数据的data agumentation方法，也能有效的应用于无标签数据的增强中。论文在文本分类和图像分类问题上进行了实验对比。

这是半监督训练的流程图，左侧是有标签数据，右侧是无标签数据。可以看出有标签数据的做法和普通做法没什么区别，而无标签数据采用的一种叫一致性训练的思想（不是这篇论文的成果）：首先对无标签数据做一个增强，然后将增强前的数据和增强后的数据都送进网络，出一个预测结果，将这两个结果算一个KL散度作为无监督的loss，和有监督的loss加在一起做BP。目标函数就是这个样子：

min ⁡ θ J ( θ ) = E x , y ∗ ∈ L [ − log ⁡ p θ ( y ∗ ∣ x ) ] + λ E x ∈ U E x ^ ∼ q ( x ^ ∣ x ) [ D K L ( p θ ~ ( y ∣ x ) ∥ p θ ( y ∣ x ^ ) ) )