论文阅读——Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model

论文：Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model

MAE方式预训练，微调

1、MAE预训练用了两个骨干网：ViT  and ViTAE

ViTAE将诸如来自卷积的局部性之类的感应偏置与全自注意层结合在一起，即，将并行卷积分支（PCM）与MHSA层一起使用。它在预训练过程中使用PCM中核大小为1×1的卷积，以避免误导性的归纳偏差，因为MAE中的随机掩蔽策略打破了空间关系。然后，当对特定的下游任务进行微调时，内核大小被填充到3×3。假设第i个卷积层的预训练中的权重为（忽略信道空间），填充内核实现如下

其中θ是MAE期间的学习值，α初始化为0，并且在微调期间是可学习的。

ViTAE模块结构如下，在补丁嵌入层之后添加cos位置编码，以在ViTAE中包含位置信息（为了简单起见，图3未显示）：

2、加RVSA微调

VSA（Varied-size window attention）：

RVSA（Rotated Varied-Size Attention）：

为了适应遥感图像目标方向比自然图像变化多的特点，RVSA在VSA基础上加了一个窗口旋转角度。

加入RVSA前后的模型结构比较：

预训练和微调整体框架：

可视化产生的窗口：

一些实验结果：