ViT相关

关于patch size：

受ViT启发,patch size的粒度影响ViT的准确性和复杂度；使用细粒度的patch大小，ViT 可以执行得更好，但会导致更高的 FLOP 和内存消耗。例如，补丁大小为16*16的 ViT 比补丁大小为32*32的 ViT 性能表现高 6%，但前者需要多 4 倍的 FLOP。

关于改进：

ViT使用一系列embedding式的图像patch作为标准Transformer的输入，这是第一个与CNN模型性能相当的无卷积Transformer网络。然而，ViT需要非常大数据集，如ImageNet21K和JFT300M来进行预训练。之后的DeiT表明，数据增强和模型正则化可以在较少的数据下训练高性能的ViT模型。在此之后，ViT就逐渐成为了CV任务中的主流模型之一。

为何使用LayerNorm而不是BatchNorm：

注：BatchNorm对一个batch-size样本内的每个特征做归一化；LayerNorm是针对每个样本，对每个样本的所有特征做归一化。

Transformer是学习一个序列的特征，相似的有lstm等。倘若在模型中加入BatchNorm，那么假设我们输入的是一些句子，那BatchNorm是把每个句子的第一个词拿出来做normalization(batch方向做normalization)；而LayerNorm是把每句话的所有词拿出来normalization（通道方向做normalization）。词之间的信息是储存在同一个句子里的。因而用LayerNorm更合理。

对于ViT，它把图片打成patch块，当作token输入进去，所以也类似于NLP那边的BatchNorm。