【阅读笔记】HOW DO VISION TRANSFORMERS WORK?

原论文地址：https://arxiv.org/abs/2202.06709

目录

Abstract

1.Introduction

1.1 Realted Work

1.2 Contribution

2.Key Points

3.AlterNet

 ​

Abstract

论文围绕三点展开：

1.MSA通过平缓神经网络的loss landscape提升准确度和泛化能力，这种能力来自于data specificity而不是long-range dependency(联系两个较远pixel的关系)。

2.MSA是低通滤波器，Conv是高通滤波器，它们功能互补。

3.提出AlterNet，用MSA块代替一个stage结束时的conv块。

1.Introduction

        广泛的观点认为MSA的成功来自于弱归纳偏置(weak inductive bias)和长期依赖的捕捉(long-range dependency)，由于其over-flexibility特性，导致ViT在训练数据上过拟合。作者对此提出了反对意见。

1.1 Realted Work

        从CNN的角度看，MSA是一种特殊的卷积变换，它作用于所有的feature map points，具有large-sized和data-specific的特点。

        weak inductive bias真的对MSA的预测能力有所提升吗？作者认为适当的约束实际上可能有助于模型学习强表示，并举了local MSA成功的例子。