Unsupervised Data Augmentation For Consistency Training 论文阅读
UDA这篇文章针对的是半监督学习中无标签数据的增强,论文提出,使用有标签数据的data agumentation方法,也能有效的应用于无标签数据的增强中。论文在文本分类和图像分类问题上进行了实验对比。
这是半监督训练的流程图,左侧是有标签数据,右侧是无标签数据。可以看出有标签数据的做法和普通做法没什么区别,而无标签数据采用的一种叫一致性训练的思想(不是这篇论文的成果):首先对无标签数据做一个增强,然后将增强前的数据和增强后的数据都送进网络,出一个预测结果,将这两个结果算一个KL散度作为无监督的loss,和有监督的loss加在一起做BP。目标函数就是这个样子:
min θ J ( θ ) = E x , y ∗ ∈ L [ − log p θ ( y ∗ ∣ x ) ] + λ E x ∈ U E x ^ ∼ q ( x ^ ∣ x ) [ D K L ( p θ ~ ( y ∣ x ) ∥ p θ ( y ∣ x ^ ) ) )