（Note）Transformer+遥感的问题

Transformer在遥感数据集上的性能问题：

        在深度学习中，数据才是核心，而模型仅仅是方法，不要舍本求末。

        模型不同对结果的影响不会这么大，数据集的数据特性才是重点，ImageNet等数据集中的图像，其尺度多局限于单个物体，因此在这些数据集中全局特征更加重要，而Vision Transfomer获取全局特征的能力优于CNN，所以能有较好的效果。而在遥感影像里，每个物体的尺度都普遍偏小，以小目标居多，此时获取全局特征的意义不大，反而是局部特征更为重要，所以Transformer相比于CNN就没有多大提升。

        CNN擅长提取高频信息，而Transformer善于提取低频信息，这使CNN在局部效果更好，Transformer在全局效果更好的本质。

        根据年初ICLR几篇文章的研究，CNN本质上就是一堆算子的结合，可视为一堆高通滤波器的叠加，其会不断强化高频信息，而Transformer由于其大量线性计算+聚合的特性，本质上是个低通滤波器，会不断强化图像的底层语义信息。说简单些，CNN是自顶向下的学习，Transformer相反，是自底向上去构建特征的，这就导致Transformer的训练十分困难，需要大量的数据构建起正确的地基，上层的建筑才能稳固。

Reference：

Transformer为啥在遥感上不work？ - 知乎

https://www.zhihu.com/question/507503981/answer/2693830944