TPAMI 2024 | 先模仿再重建：通过特征模仿增强掩码自编码器

题目：Mimic before Reconstruct: Enhancing Masked Autoencoders with Feature Mimicking

先模仿再重建：通过特征模仿增强掩码自编码器

作者：Peng GaoZiyi LinYu Qiao
开源代码：https://github.com/Alpha-VL/ConvMAE

---

掩码自编码器（MAE）已成为大规模视觉表示预训练的流行范式。然而，MAE仅在解码器之后重建低级RGB信号，并且对编码器的高级语义缺乏监督，因此学习到的表示不够理想，预训练周期也较长。为了缓解这个问题，之前的方法简单地用预训练的图像对比学习（DINO）或图像-语言（CLIP）对比学习中编码的特征替换了75%掩码标记的像素重建目标。与这些努力不同，我们提出了一种在掩码自编码器之前模仿的方法，称为MR-MAE，它在预训练期间联合学习高级和低级表示，而不会产生干扰。对于高级语义，MR-MAE采用模仿损失，覆盖编码器的25%可见标记，以捕获CLIP和DINO中编码的预训练模式。对于低级结构，我们继承了MAE中的重建损失，以预测解码器之后75%掩码标记的RGB像素值。由于MR-MAE在不同的分区分别应用高级和低级目标，它们之间的学习冲突可以自然地克服，有助于为各种下游任务提供更优越的视觉表示。在ImageNet-1K上，仅经过400个周期的预训练，MR-MAE基础模型在微调后达到了85.8%