论文链接
网络
网络整体架构与普通autoencoder类似,但有一些优化。
Masking
首先,作者将图像的像素点划分为多个没有重合的小块(patch),然后遵从均匀分布(防止选择的小块趋向于图片中心),从这些小块中随机选择一定比例的小块,然后去除剩余的小块(mask),而被选择出的小块就是encoder的输入。
Encoder
encoder的主体是ViT,模型的输入是上一部分选择出的未被mask的部分,对输入做一个线性映射后再加一个位置编码,然后就可以把它输入到transformer里了。
Decoder
这一部分的输入不仅仅是上一部分encoder的输出,还包含第一部分(masking)mask的小块。对于这些小块,模型赋予它们一个相同的、可学习的特征向量。
对decoder的输入,仍然要加上一个位置编码,因为decoder也是一个transformer。
这一部分只有在预训练的时候才需要,当模型实际使用时,只需要en