半监督图像分类任务两大方法

        近来半监督图像分类任务有两大核心方法：一致性正则（Consistency Regularization）和打伪标签法（Pseudo-Label）。当前SOTA(state-of-the-art)水平的半监督算法，通常是这两种方法的结合产物，比如知名的Match系列方法：MixMatch（NIPS 2019），ReMixMatch（ICLR 2020），FixMatch（NIPS 2020）和FeatMatch（ECCV 2020）。

一、一致性正则（Consistency Regularization）法:

        这种模式使用的理念是，即使在添加了噪声之后，对未标记图像的模型预测也应该保持不变。对于一个输入，即使受到微小干扰，其预测都应该是一致的。原理很简单就是，当输入在很小变动情况下，网络的输出不应该存在变化。比如一个图像加了噪声前和加了噪声后对结果应该不产生影响。

        对于每一个 unlabeled instance，consistency regularization 要求两次随机注入 noise 的输出近似。背后的思想是，如果一个模型是鲁棒的，那么即使输入有扰动，输出也应该近似。

        对于 consistency regularization 来说，如何注入 noise 以及如何计算一致性，就是每个方法的不同之处。注入 noise 可以通过模型本身的随机性（如 dropout࿰