【Transformer+遥感】是当前的研究热点,旨在通过Transformer模型强大的全局特征学习能力,提升遥感图像处理的性能。该研究方向通过引入Transformer架构,解决了传统卷积神经网络在遥感图像语义分割、变化检测等任务中对全局信息捕捉不足的问题。相关研究工作通过设计创新的模型和模块,如双解码器结构、输入变换模块等,增强了Transformer在处理高分辨率遥感图像时的特征提取和细节保持能力。
为了帮助大家全面掌握【Transformer+遥感】的方法并寻找创新点,本文总结了最近两年【Transformer+遥感】相关的15篇前沿研究成果,这些论文、来源、论文的代码都整理好了,希望能给各位的学术研究提供新的思路。
三篇论文解析
1、An attention-based multiscale transformer network for remote sensing image change detection
方法
-
AMTNet框架:提出了一个基于注意力机制的多尺度变换器网络(AMTNet),用于高分辨率光学遥感数据的双时相变化检测。
-
CNN-Transformer结构:利用CNN作为主干网络提取原始输入图像对的多尺度特征,然后使用注意力和变换器模块有效建模双时相图像中的上下文信息。
-
特征交换:通过部分交换两个Siamese分支之间的特征来弥合不同时间图像域之间的域差距。
-
空间注意力模块(SAM):自动强调与变化区域相关的空间位置的重要信息。
-
通道注意力模块(CAM):通过突出显示与变化分析密切相关的通道来增强特征表示。
-
多尺度CNN主干:使用ResNet作为主干网络,提取不同尺度的特征图。
-
损失函数:使用基于交叉熵损失的总体损失函数来优化CD任务。
创新点
-
注意力机制与变换器的结合:将空间注意力和通道注意力与变换器结构相结合,充分利用了ConvNets、变换器、多尺度处理和注意力机制的优势。
-
特征交换技术:通过特征交换技术,实现了不同时间图像域之间的有效域适应,有助于改善特征表示。
-
多尺度特征提取:通过使用不同尺度的特征图,AMTNet能够检测不同尺寸和类型的改变对象。
-
空间和通道注意力的集成:SAM和CAM的集成使得网络能够更加关注与变化区域相关的空间位置和通道,从而提高变化检测的性能。
-
跨数据集验证:在四个常用的变化检测数据集上进行了广泛的实验,证明了AMTNet方法的有效性。
-
模型效率:在保持高效计算和参数数量的同时,AMTNet实现了最先进的性能,这表明了模型在资源受限的设备上的应用潜力。
-
预训练的影响分析:研究了在ImageNet上预训练的ResNet-50主干网络对模型性能的影响,发现预训练可以显著提高模型的整体性能。
IMG_256
2、A VHR Bi-Temporal Remote-Sensing Image Change Detection Network Based on Swin Transformer
方法
-
SFCD模型:提出了一种新的基于Swin Transformer的变化检测(CD)模型,称为SFCD,用于处理非常高分辨率(VHR)遥感图像。
-
多尺度特征提取:使用Swin Transformer作为编码器,通过层次化的Swin Transformer网络进行多尺度特征提取。
-
对齐误差和照明变化:通过增强全局建模能力,减少由于对齐误差和照明变化引起的误判。
-
小目标检测:通过引入移位窗口(Swin)Transformer增强对小目标的特征提取能力。
-
前景感知融合模块(FAF):设计了一种利用注意力门来修剪低级特征响应的模块,使得在恢复变化区域时,模型更多地关注变化区域而非背景,从而减少背景干扰。
-
损失函数:在训练阶段,使用交叉熵损失函数来优化网络参数。
创新点
-
Swin Transformer的应用:将Swin Transformer引入到变化检测模型中,利用其自注意力机制和分层设计,提高小目标和局部区域变化的检测能力。
-
移位窗口设计:通过移位窗口设计在不同窗口之间建立特征连接,增强了特征提取能力,同时保持了计算效率。
-
前景感知融合(FAF)模块:创新性地设计了一种基于软空间注意力门的融合模块,用于引导不同语义特征的整合,提高模型对变化区域的关注度,减少复杂背景和不相关变化的影响。
-
轻量级模型:开发了一个轻量级版本的模型,即使只有1.55M参数,也实现了超越大多数模型的准确性,验证了设计的高效性。
-
跨数据集验证:在LEVIR-CD和CDD两个不同的变化检测数据集上评估模型性能,证明了模型的泛化能力。
-
性能与效率的平衡:在保证检测性能的同时,考虑了模型的参数数量和计算资源消耗,实现了在资源受限的设备上的应用潜力。
IMG_257
3、BiTSRS: A Bi-Decoder Transformer Segmentor for High-Spatial-Resolution Remote Sensing Images
方法
-
BiTSRS模型:提出了一种新颖的基于Transformer的模型,名为BiTSRS,用于高空间分辨率遥感图像的语义分割。
-
Swin Transformer编码器:使用Swin Transformer作为编码器,以同时考虑全局和局部表示,并设计了一个输入变换模块(ITM)来处理Swin Transformer的输入尺寸限制。
-
双解码器结构:BiTSRS采用双解码器结构,包括一个Dilated-Uper解码器和一个嵌入焦点损失的全可变形卷积网络(FDCN)模块,用于解码各种特征和局部细节变形。
-
焦点损失:在辅助FDCN解码器中使用焦点损失,以解决分割过程中复杂背景样本和类别分布的问题。
创新点
-
双解码器设计:BiTSRS的双解码器结构能够同时解码粗略和精细的特征,提高了对遥感图像中各种尺度和变形的语义信息的获取能力。
-
输入变换模块(ITM):ITM作为一个即插即用模块,能够将大规模遥感图像变换为Swin Transformer兼容的尺寸,提高了模型对大规模输入的适应性。
-
焦点损失的应用:在FDCN模块中引入焦点损失,以更有效地区分困难样本,提高了模型对不平衡训练样本的处理能力。
-
大规模遥感图像的适应性:BiTSRS特别设计了ITM来适应大规模遥感图像,使其能够利用预训练的Swin Transformer权重进行有效的特征提取。
-
全面的特征提取能力:通过结合Swin Transformer编码器和双解码器结构,BiTSRS能够捕捉从全局到局部的多尺度特征,提高了对复杂遥感图像场景的理解。
IMG_258