FAIR 何恺明、Piotr、Ross等新作，MAE才是YYDS！仅用ImageNet1K，Top-1准确率87.8%！

关注公众号，发现CV技术之美

介绍一篇今天新出的论文。

▊ 写在前面

在本文中，作者证明了masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。本文的MAE方法很简单：mask输入图像的随机patch，并重建丢失的像素 。它基于两个核心设计的。

首先，作者开发了一种非对称的编码器-解码器体系结构，其中的编码器只对可见的patch子集（没有mask的token）进行操作，同时还有一个轻量级的解码器，该解码器从潜在表示和mask token中重建原始图像。

其次，作者发现mask高比例的输入图像patch（例如75%）会变成一个不错且有意义的自监督任务。将这两种设计结合起来，能够高效地训练大型模型：本文的模型加快训练速度（3倍或更多）并提高精度。

本文的可扩展方法使得学习具有良好通用性的高容量模型：例如，在仅使用ImageNet-1K数据时，ViT-Huge模型的Top-1精确度为87.8%。 此外，下游任务中的迁移性能优于有监督的预训练。

▊ 1. 论文和代码地址

Masked Autoencoders Are Scalable Vision Learners

论文地址：https://arxiv.org/abs/2111.06377

代码地址：未开源

▊ 2. Motivation

深度学习见证了学习能力和容量不断增长的网络结构的爆炸式增长。在硬件快速发展的帮助下，如今的模型很容易拟合超过百万张图像，并开始使用需要数亿张通常无法公开获取的标签图像。

自然语言处理（NLP）通过自监督预训练成功地解决了这种对数据的偏好。基于GPT中的自回归语言建模和BERT中的masked autoencoding的解决方案在概念上很简单：它们删除一部分数据并学习预测删除的内容。这些方法使得现在可以训练包含超过1000亿个参数的NLP模型。

masked autoencoding是一种更为通用的去噪自动编码器（denoising autoencoders），它的思想很自然，也适用于计算机视觉。然而，尽管随着BERT的成功，人们对这一想法产生了极大的兴趣，但视觉中自动编码方法的进展却落后于NLP。作者就提出了一个问题：是什么让masked autoencoding在视觉和语言之间有所不同？ 

作者试图从以下角度回答这个问题：

1）网络结构是不同的 。在视觉上，卷积网络在过去十年中占主导地位。卷积通常在规则网格上运行，并且将诸如mask tokens或位置嵌入等“指示符”集成到卷积网络中并不容易。然而，随着视觉Transformer（ViT）的引入，这一结构差距已经得到解决，不应再构成障碍。

2）语言和视觉的信息密度不同 。语言是人类产生的信号，具有高度的语义和信息密度。当训练一个模型来预测每个