Google半监督发展：MixMatch、UDA、ReMixMatch、FixMatch

Google总结的三个SSL常用组成部分

Consistency Regularization

基于假设：模型输出对于输入注入一些噪声后鲁棒。注入噪声可以通过模型本身的随机性（如 dropout）或者直接加入噪声（如 Gaussian noise），也可以通过 data augmentation。

自UDA开始，实验表明应用更强的增强形式可以显着提高一致性正则化的性能。因此除MixMatch外的后续三个都利用了在ReMixMatch定义为Augmentation Anchoring的方法去提升一致性正则：使用弱增强图像的预测作为同一图像的强增强预测的目标。

计算一致性正则的方式，一般有$l_2$ loss（MixMatch），KL散度（UDA）和CE loss（ReMixMatch、FixMatch，同时ReMixMatch中做了消融实验证实