深度解读Vision Transformer的自监督学习

©作者 |小欣

今天和大家分享一篇关于“Vision Transformer的自监督学习”的文章，文章来源是BEiT（BERT Pre-Training of Image Transformers），文章的出品方是微软，感兴趣的小伙伴可以自行去下载阅读哦！好的，接下来，我们就简单地“解剖”一下这篇文章吧！

Transformer 在计算机视觉领域已经获得巨大的成功。然而，大量的实验研究表明，训练Vision Transformer 需要比训练卷积神经网络（CNN）更多的数据。

为了解决这个问题，自监督预训练这种方式，即可以利用大规模的无标注数据。近期研究，比如对比学习或者自蒸馏，都揭示了在vision Transformer上进行预训练的可行性。

这篇文章引入了一种自监督的视觉表示模型 BEIT，它代表Vision Transformer的双向编码表示。这是继在自然语言处理领域开发的 BERT （Devlin等人在2019年提出） 之后，通过图像掩码建模任务来预训练视觉转换器的模型。

文章的主要贡献

● 提出了一个图像掩码建模任务，以自我监督的方式预训练视觉转换器。还从变分自编码器的角度提供了理论解释。

● 预训练 BEIT 模型，并对下游任务进行广泛的微调实验，例如图