【计算机视觉】MAE：Masked Autoencoder

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【自然语言处理】Transformer 讲解
【自然语言处理】BERT 讲解
【计算机视觉】ViT：Vision Transformer 讲解

由于暂时不了解 BEiT、dVAE 和 DALLE，所以本文没有介绍论文中关于三者的内容。

MAE

1. 模型概述

何恺明提出了一种以编码器模型为骨架（backbone）、以自然语言模型 BERT 中完形填空（MLM）为学习策略的一种用于计算机视觉任务的可扩展（规模可变）的自监督学习模型 Masked AutoEncoders（MAE）。本质上，MAE 是一种在小数据集上高效训练大模型且保证大模型具有良好的泛化能力的自监督预训练方法，目的是训练大型编码器模型。

MAE 模型随机对输入图像对应的 patch 序列进行遮盖，通过非对称的端到端架构对被遮盖的 patch 进行重建。预训练阶段࿰