厉害了！谷歌新发布的半监督学习算法降低4倍错误率

点击我爱计算机视觉标星，更快获取CVML新技术

---

昨天跟大家分享了Facebook AI 提出10亿级数据规模的半监督图像分类模型，ImageNet测试精度高达81.2％！，引起了不少朋友的兴趣。虽说做AI这件事，大厂的数据更丰富，但各个大厂也希望降低标注成本啊。

今天跟大家介绍的工作来自谷歌，也是几天前刚出来的工作，而且已经有人实现了。

https://github.com/gan3sh500/mixmatch-pytorch

希望对大家有帮助～

图灵TOPIA

作者：David Berthelot

编译：刘静

图灵联邦编辑部出品

事实证明，半监督学习是利用未标记数据来减轻对大型标签数据集依赖的有力范例。

最近，谷歌的研究人员统一当前用于半监督学习的主要方法，生成了一个新的算法：MixMatch。

该算法通过猜测数据增强的未标记示例的低熵标签并使用MixUp混合标记和未标记数据来工作。

MixMatch在许多数据集和标记数据量上获得SOTA结果。 例如，在具有250个标签的CIFAR-10上，将错误率降低了4倍（从38％降至11％），在STL-10上降低了2倍。

研究人员还演示了MixMatch如何帮助实现差异隐私的更精确的隐私权衡。

以下是论文具体内容：

简介

最近在训练大型深度神经网络方面取得的成功很大程度上要归功于大型标记数据集的存在。 然而，收集标记数据对于许多学习任务来说非常昂贵，因为它必然涉及专家知识。

这一点或许可以从医学任务中得到最好的说明，在医学任务中，使用昂贵的机器进行测量，标签是耗时分析的成果，通常来自多位人类专家的结论。 此外，数据标签可能包含可能被视为私密的敏感信息。 相比之下，在许多任务中，获取未标记数据要容易得多，也便宜得多。

半监督学习（SSL）旨在通过允许模型利用未标记的数据来大大减轻对标记数据的需求。 最近的许多半监督学习方法增加了一个在未标记数据上计算的损失项，并鼓励模型更好地推广到看不见的数据。 

在最近的许多工作中，这个损失项属于三类中的一类（在第2节中进一步讨论）：

熵最小化 - 它鼓励模型输出对未标记数据的可信预测;

一致性正则化 - 它鼓励模型在其输入受到干扰时产生相同的输出分布;

通用正则化 - 鼓励模型很好地泛化并避免过度拟合训练数据。

在本文中，我们介绍了一种SSL算法MixMatch，它引入了单一损失，优雅地将这些主导方法统一到了半监督学习之中。 与以前的方法不同，MixMatch可以同时拥有所有属性，我们发现这些属性具有以下优势：

图1：MixMatch中使用的标签猜测过程图。 将随机数据增量应用于未标记图像K次，并且通过分类器馈送每个增强图像。 然后，通过调整分布的温度来“锐化”这些K预测的平均值。

•实验表明，MixMatch在所有标准图像基准测试中获得了最先进的结果，在包含250个标签的CIFAR-10上获得了11.08%的错误率(次佳方法获得了38%的错误率);

•此外，我们在消融研究中表明，MixMatch大于其各部分的总和;

•MixMatch对于差异隐私学习非常有用，使PATE框架中的学生模型能够获得新的最新结果，同时加强所提供的隐私保证和实现的准确性。

图2：对于不同数量的标签，MixMatch与CIFAR-10上的基线方法的错误率比较。  “监督”是指所有50000个训练样本的训练，没有未标记的数据。 使用250个标签，MixMatch的错误率与使用4000个标签的次佳方法的性能相当。

图3：对于不同数量的标签，MixMatch与SVHN基线方法的错误率比较。  “监督”是指使用所有73257训练样本进行训练，并且没有未标记的数据。 通过250个示例，MixMatch几乎达到了该模型的监督训练精度。

表1:CIFAR-10和CIFAR-100与较大模型(2600万个参数)的错误率比较。

表2：使用1000个标签分割或整个5000标签训练集的STL-10错误率。

表3：MixMatch的SVHN和SVHN + Extra错误率比较。 最后一列（“All”）包含完全监督的性能，其中所有标签都在相应的训练集中。

表4：消融研究结果。 所有值都是CIFAR-10上250或4000个标签的错误率。 ICT使用EMA参数和未标记的混合，没有锐化。

简而言之，MixMatch为未标记数据引入了统一的损耗项，可以无缝地降低熵，同时保持一致性并与传统的正则化技术保持兼容。

结论

我们引入了MixMatch，这是一种半监督学习方法，它结合了当前主导范式的思想和组成部分，用于半监督学习。 通过对半监督和隐私保护学习的广泛实验，我们发现，与我们研究的所有设置中的其他方法相比，MixMatch表现出显着改善的性能，通常是误差率减少两倍或更多。

 

在未来的工作中，我们有兴趣将半监督学习文献中的其他想法纳入混合方法，并继续探索哪些组成部分能够产生有效的算法。 另外，大多数关于半监督学习算法的现代工作都是在图像基准上进行评估的。 我们有兴趣探索MixMatch在其他领域的有效性。

论文地址：

https://arxiv.org/pdf/1905.02249.pdf

开源地址（非官方）：

https://github.com/gan3sh500/mixmatch-pytorch

加群交流

关注计算机视觉与机器学习技术，欢迎加入52CV群，扫码添加52CV君拉你入群，

（请务必注明:52CV）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：702781905。

（不会时时在线，如果没能及时通过验证还请见谅）

---

长按关注我爱计算机视觉