MAE 自监督算法介绍和基于 EasyCV 的复现

导言

自监督学习（Self-Supervised Learning）能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MAE进行解读，然后基于EasyCV库的精度复现过程及其中遇到的一些问题作出解答。

概述

MAE的做法很简单：随机mask掉图片中的一些patch，然后通过模型去重建这些丢失的区域。包括两个核心的设计：1.非对称编码-解码结构 2.用较高的掩码率（75%）。通过这两个设计MAE在预训练过程中可以取得3倍以上的训练速度和更高的精度，如ViT-Huge能够通过ImageNet-1K数据上取得87.8%的准确率。

模型拆解

MAE属于自编码器（AutoEncoder）的一种,由编码器和解码器两个部分组成。类似于常见的自编码器，MAE会先通过编码器将图片patch映射到隐空间。然后，基于解码器将隐空间上的特征变量重构成图片patch。和常见自编码器的区别是非对称的编码解码结构。这个非对称性主要体现在以下两点：

1. 轻量化的解码器结构
2. 在编码器阶段，仅将未被mask掉的图片patch作为输入。在解码器阶段会将编码器输出的隐变量和mask token共同作为输入去重建完成的图片。

掩码策略

首先，直接采用ViT的做法将图片分成不重叠的patch（如vit-b会将图片划分成16x16的图像块），然后通过均匀采样策略对这些patch进行采样，并丢弃未被选中的部分。MAE所采用的掩码策略有如下两个特点：

1.在算法中，使用了75%的masking ratio来丢弃图片patch。作者指出，通过high masking ratio可以有效减少输入的冗余程度，使重建任务不能够通过简单的参考邻近patch来完成。文中，也通过实验证明了这一观点。

关于Masking ratio的实验是MAE最精彩的一部分，随着mask ratio的增加，fine-tuning和linear proing的精度逐渐攀升，甚至到75%还没有下降，这一点打破了BERT（15%）、BEiT（40%）的做法，进一步将mask 预训练方式在NLP领域的成功在CV领域实现复制。

2.采用了均匀采样策略可以有效的避免potential center bias(丢弃掉的patch都靠近图片中心)。对mask策略的消去实验如下表所示。

编码器

MAE encoder采用的是ViT结构。在对图像patch进行采样后，仅保留25%未被mask的图像patch作为输入，通过linear Projection进行编码后，加上positional embedding，然后输入到一系列的Transformer blocks中。相比于Bert中用mask token来代替被mask区域的做法，MAE encoder直接舍弃掉了mask的部分，通过这种方式可以有效的减少预训练过程中需要消耗的计算资源和训练时间。

文中，作者对编码器是否保留mask token进行了消融实验，可以看出在编码器阶段舍弃mask token不会对预训练模型的表征能力造成影响，同时能够显著的加速训练进程。

解码器

MAE decoder由一连串的Transfomer block组成。和encoder不同的是，MAE decoder的输入不仅包括未被mask的图像patch经过encoder编码后的特征，还包括了被mask掉的部分。对于mask掉部分的输入，会用一个共享参数，且可学习的mask token代替作为输入。除此之外