EMAN：自监督和半监督学习的指数移动平均归一化

原文：Cai Z, Ravichandran A, Maji S, et al. Exponential moving average normalization for self-supervised and semi-supervised learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 194-203.

源码：https://github.com/amazon-research/exponential-moving-average-normalization

我们提出了一种新的批量归一化(BN)插件替代品，称为指数移动平均归一化(EMAN)，它改进了基于学生-教师架构的自监督和半监督模型的性能。在标准BN中，数据是在每个批量中计算的，与标准BN不同，EMAN用于教师网络中，根据学生网络的BN数据，通过指数移动平均来更新数据。这种设计减少了BN固有的cross-sample依赖性，增强了教师网络的泛化能力。在使用1%的ImageNet标记数据时，EMAN将自监督基线提高了4-6个点，将半监督基线提高了7个点。在使用10%的ImageNet标记数据时，EMAN将自监督基线提高了1-2个点，将半监督基线提高了2个点。这些提高在不同的方法、网络架构、训练时间和数据集上是一致的，证明了EMAN的有效性。

图1：使用标准BN(左)和EMAN(右)的EMA-teacher框架。θ为模型参数，μ和σ^2是BN数据。EMA表示指数移动平均更新。im_v1和im_v2是同一图像的两个不同视图。教师模型没有反向传播。

图2：使用标准BN(左)和EMAN(右)的FixMatch框架。im_s/im_w是同一图像的强/弱增强视图。

算法1：EMAN的伪代码。

图3：采用不同的归一化方案，FixMatch、MoCo和BYOL在ImageNet上的训练精度曲线。

表1：不同归一化方案对模型精度的影响。

表2：在ImageNet上进行线性分类和端到端微调的结果。

表3：与其他自监督模型的比较。

表4：在ImageNet上进行KNN分类和图像检索的结果。

表5：小样本实验结果。

表6：在ImageNet上的FixMatch半监督实验结果。

表7：与其他半监督模型的比较。*表示从图中得到的粗略估计数字，因为SimCLR-v2没有报告自蒸馏的ResNet-50的确切数字。

表8：消融研究结果。

图4：使用10%的ImageNet标记数据时，FixMatch半监督实验的精度曲线。

图5：(a)是MoCo的训练损失曲线。(b)是MoCo的分类精度曲线。(c)是BYOL的训练损失曲线。

本文提出了一种简单的归一化技术，即指数移动平均归一化(EMAN)，用于基于EMA-teacher框架的半监督和自监督模型。它解决了在EMA-teacher框架中使用标准BN时的cross-sample依赖和参数不匹配的问题。这种简单的设计提高了半监督和自监督模型的性能。这些提高在不同的方法、网络架构、训练时间和数据集上是一致的，证明了EMAN的有效性。

多模态人工智能

为人类文明进步而努力奋斗^_^↑

欢迎关注“多模态人工智能”公众号^_^↑