Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）

这篇文章主要整理kaiming大神所提出的MAE，和沿着MAE发展的几个代表性变体模型。

Masked Autoencoders Are Scalable Vision Learners
MAE的最突出的贡献是在iGPT和BEiT的基础上，化繁为简，让BERT式预训练能真正在CV上也能训到很好，即CV届的BERT/GPT-3！为了理解这句话，可以首先看看kaiming大神在一开头就提出的问题：为什么CV和NLP用的masked autoencoder不一样？（博主的理解是为什么CV非要改装之后才能用Transformer）。比如对于iGPT的做法是马赛克图像使其变成色块patch再输入Transformer；BEiT用dVAE离散化图像再用Decoder还原。主要是因为，

• 结构上（Architecture）。CV和NLP直到最近在结构上都是不一样的，CNN天然适合图像领域，要像Transformer运行需要mask，position token这些不够自然，因此也造成了这第一个困难。不过随着ViT的提出，相比iGPT的马赛克、dVAE的离散化来说，ViT这种patch形态是对信息损失最少且相对高效的。
• 信息密度上（Information density）。语言是由人类产生的信号，具有高度的语义性和信息密集性。相反，图像是具有大量空间冗余的自然信号，其实遮挡patch、word去预测的时候，图像要比文本容易很多，一般只需要通过周边的patch即可推理出来。所以这篇文章给的策略是：mask掉非常多的随机补丁，比如90%以上。这种策略可以在很大程度上减少冗余，增强模型的理解能力。
• Decoder上。语言中解码器预测包含丰富语义信息的缺失单词（语义级别高），而视觉中的解码器重建像素（语义级别低）。对于复原图像来说，如果太关注细节就会损失高维抽象能力，因此这篇文章的策略是非对称编码解码器（asymmetric encoder-decoder），即encoder只负责抽取高维表示且仅对没有掩码的信号进行操作，而轻量级的decoder则负责从隐表示和带掩码的token中进行图像信号还原。

MAE的模型结构如上图，主要有一下几个部件：

• Input。MAE 和 ViT 的做法一致，将图像切成patches。然后采用的非常高的mask rate，以大大减小冗余信息，增加重建 images 的困难。
• MAE Encoder。主体和 ViT 的一样，但是这里的Encoder会只对整个图片 patches 小集合 (例如25%)进行操作，而删除掉有mask的patches，即这个小子集是unmasked patches组成。而不使用BERT那种特殊字符作为掩码标记。
• MAE Decoder。操作集合是整个图片 patches，仅用于预训练期间执行图像重建任务。在非对称的设计下，解码器可以很轻量来缩短预训练的时间。
• Reconstruction。Linear层，归一化的像素算MSE Loss。

从结果上看，MAE在ImageNet-1k过了所有在ImageNet-21k pre-training 的 ViT 变体模型们。证明了重建原图pixel的重要性，这种非常直观的MIM对比起MLM来看，开头的那句CV届的GPT-3应该真的不远了。

• paper：https://arxiv.org/abs/2111.06377

How to Understand Masked Autoencoder
补一篇MAE的理论证明。首先作者整理了MAE的主要贡献：

• 1K数据集训练就有很好效果，可以促使人们重新考虑ViT的研究。此外，性能超监督学习且展现出其强大的scaling能力。
• MAE作为一种生成式模型打败了对比式模型如MoCo。
• 搭起CV和NLP的桥梁。

然后作者提出了五大理论分析问题：

• 1MAE模型的表示空间(representation space)是如何形成的、优化的和传播的？A：MAE中的注意机制等价于一个可学习的积分核变换，其表示能力由巴伦空间Barron space动态更新，位置嵌入作为高维特征空间的坐标。
• 2图像的patch为什么有助于MAE模型的学习？A：在图像的低秩性质的常见假设下，我们证明了MAE的随机补丁选择保留了原始图像的信息，同时降低了计算成本。（其实这也是为什么MIM的方式要比对比学习好的愿意之一，对比学习的增强方式如crop都有分布偏差如集中在中部，那么在泛化时不够通用，而MIM是随机还原各个区域，因此学到的表征可能会更加通用）
• 3为什么MAE模型内部低层和高层输出的特征表示之间没有显著的差异？A：ViT主干中的缩放点积注意在跨层传播过程中提供了稳定的表示。
• 4decoder对于MAE模型不重要吗？A：解码器对于帮助编码器建立更好的表示是至关重要的，即使解码器在预训练后被丢弃。由于MAE解码器中的补丁维数更大，它允许编码器中的表示空间通过巴伦空间的函数更加丰富，以学习更好的基础。
• 5MAE对每一个masked patch的重建仅仅是依据其邻居patch进行推断的吗？A：masked patch的潜在表示是基于由注意机制学习的补丁间拓扑进行全局插值的。

详细数学证明请参看全文：
paper：https://arxiv.org/abs/2202.03670

iBOT:Image BERT Pre-training with Online Tokenizer
大多数 CV 的自监督学习关注的往往是图片的global view比如 MoCo，而没有认真研究 image，而MAE的出现使MIM变成现实。这篇iBOT的关注点主要在于，Online Tokenizer：

• NLP的lingual tokenizer 非常重要，其把词语变成富含语义的 tokens。
• CV的visual tokenizer非常重要，那么它也应该把图片变成富含语义的 tokens。

但由于图像连续分布且存在大量冗余的底层细节信息，visual semantic不容易被提取。因此，作者们提出先训练一个 off-the-shelf 的 tokenizer来学习带有丰富语义的 tokens。类似BEiT的dVAE ，但作者希望能学到更高级的语义，这种高级语义的定义为：1）具备完整表征连续图像内容的能力；2）像 NLP 中的 tokenizer 一样具备高层语义。具体方法如上图，主要使用知识蒸馏，待训练的ViT输入masked images，而Online tokenizer 接收原始图像，目标让ViT的重建masked patch token。与MAE的区别就在于，MAE是Decoder来重建，而IBOT让Encoder来输出重建以学习高维信息。

• Input。学生网络输入masked token，教师网络是全部，目标是让学生网络有能力重建。
• loss。损失函数1,2是 patch上的自蒸馏，让学生的输出和教师越接近越好。损失函数3,4是[CLS]上的自蒸馏，让online tokenizer 学习到高语义特征。都是做Contrastive Learning。

paper：https://arxiv.org/abs/2111.07832

Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language
这篇文章扩展Tokenizer到多模态数据，是一个通用的自监督学习框架，同时适用于图像、语音和文本。主要模型架构如上图。其核心就在于对不同模态采用不同的编码方式以及掩码方式。

• 文本 : 常规token embedding和token masking。
• 图像：patch embedding和block-wise masking。
• 语音：多层一维卷积对waveform进行embedding和span masking。

Teacher-Student和iBOT较像，细节可以看原文。

• paper：https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language
• project：https://github.com/pytorch/fairseq/tree/main/examples/data2vec

SimMIM: A Simple Framework for Masked Image Modeling
来自CVPR2022的文章。这篇文章同样也从nlp和cv中建模MIM任务的不同之处，作者们主要认为有以下几点：

• 图像具有更强的局部关系，即相互靠近的像素往往是高度相关的。
• 视觉信号是原始的、低层次的，而语言是高级概念。
• 视觉信号是连续的，而词是离散的。

SimMIM的模型架构由 4 个部分组成：

• Masking strategy：给定一张输入图像，该组件负责选择掩码的区域及实现所选区域的掩码。经过掩码后的图像将用作模型输入。 分中心区域掩码策略（随机）和块级掩码策略（ 16x16 和 32x32 ）。
• Encoder architecture：编码器提取掩码图像上潜在的特征表示，然后用来预测掩码区域的原始信号。主要考虑两种典型的vision Transformer架构: vanilla ViT和Swin Transformer。
• Prediction head：预测头用于潜在的特征表示，表示掩码区域中的原始信号。
• Prediction target：预测原始像素值，或原始像素的变换。损失函数包括交叉熵分类损失和l1或l2回归损失。

paper：https://arxiv.org/pdf/2111.09886.pdf
code：https://github.com/microsoft/SimMIM

CAE: Context AutoEncoder for Self-Supervised Representation Learning
本文的motivation在于：MAE、BEiT、ViT等等模型的Encoder & Decoder 解耦模式会影响 Encoder 的学习能力。即虽然Encoder 学表征，Decoder 做预训练，之后迁移到下游时Decoder往往会被抛弃。作者认为这种方式，即使Encoder表征不够好，也有Decoder在后面做修正，这将限制Encoder 的表征学习能力。

所以提出CAE(Context AutoEncoder)，模型结构如上，关键组件在于Latent Contextual Regressor，Regressor由transformer blocks组成，成为一个语义阻断器使Decoder和Encoder之间的分工更为明确，可以对比看一下MAE和CAE的输入输出：

• MAE ： Encoder 仅接受 visible(un-masked) patches，Decoder接受编码结果和masked tokens一起预测masked patches 的像素值。
• Regressor：它会输入masked patches当Q+un-masked patches当KV，然后Regressor 仅将 masked tokens 表征送给 Decoder。因此Decoder拿不到un-masked patches 的表征，所以阻止了它也去学un-masked表征。
• Alignment：同时对于masked表征也不让Decoder学，就会将Regressor 估计的 masked tokens 表征与 Encoder 对于 masked patches 进行编码得到的表征对齐。

确实比较巧妙，可以看看作者的代码实现

• https://github.com/lxtGH/CAE

BEVT: BERT Pretraining of Video Transformers
继续更一篇CVPR2022，开始从image做到video了。不同于静态图像，除了空间先验信息，视频中包含着运动、物体间交互等丰富的动态信息，因此做到视频中的MVM需要同时学习空间先验信息和时间动态信息。

模型框架图如上，在image上的空间表征学习（Masked Image Modeling）和在video的时间动态信息表征学习（Masked Video Modeling）进行联合训练的双路架构，并分别通过同一种 BERT 的掩码预测自监督任务进行训练。

• Masked Image Modeling。掩码图像建模的训练目标是从掩码输入中恢复对应的离散视觉 token。使用 blockwise masking 方式。
• Masked Video Modeling。视频会被切分为若干 3D patches，掩码视频建模的目标也是从掩码三维输入中恢复对应的离散视觉 token。使用适用于时空三维输入的 tube masking 方式。

BEVT 也使用预训练的 VQ-VAE 将连续图像内容转换为离散视觉 token，作为自监督预训练任务的预测目标。

paper：https://arxiv.org/abs/2112.01529
code：https://github.com/xyzforever/BEVT

Masked Autoencoders As Spatiotemporal Learners
继续补kaiming大佬团队新出的文章，同样也是做到video里面去，主要结构如上图。

• Patch Embedding : 类似ViT，沿空时维度拆分为无重叠的规则的网格块，然后flatten+位置嵌入过（只有空间域），线性投影层。
• Masking : 非结构化随机采样，类似BERT和MAE。有一个很强的结论是：最优Mask比例与数据的信息冗余相关。即BERT的15%与MAE的75%已经表明：相比语言，图像具有更强的信息冗余，而这篇文章高达90%和95%的Mask比例则进一步证明了视频的冗余更多。
• AutoEncoding : 延续MAE，编码器的ViT仅作用于可见块嵌入，解码器ViT比编码小。

https://arxiv.org/pdf/2205.09113.pdf