论文阅读——Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model

论文：Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model

MAE方式预训练，微调

1、MAE预训练用了两个骨干网：ViT  and ViTAE

ViTAE将诸如来自卷积的局部性之类的感应偏置与全自注意层结合在一起，即，将并行卷积分支（PCM）与MHSA层一起使用。它在预训练过程中使用PCM中核大小为1×1的卷积，以避免误导性的归纳偏差，因为MAE中的随机掩蔽策略打破了空间关系。然后，当对特定的下游任务进行微调时，内核大小被填充到3×3。假设第i个卷积层的预训练中的权重为（忽略信道空间），填充内核实现如下

其中θ是MAE期间的学习值，α初始化为0，并且在微调期间是可学习的。

ViTAE模块结构如下，在补丁嵌入层之后添加cos位置编码，以在ViTAE中包含位置信息（为了简单起见，图3未显示）：