【USSFC-Net】遥感图像变化检测的超权重空间光谱特征协同网络（IEEE TGRS收录）

最新推荐文章于 2025-02-16 06:36:08 发布

及时行樂樂樂

最新推荐文章于 2025-02-16 06:36:08 发布

阅读量1.1k

点赞数 22

分类专栏： change detection 论文阅读文章标签：深度学习人工智能机器学习

本文链接：https://blog.csdn.net/weixin_44703452/article/details/139031563

版权

论文阅读同时被 2 个专栏收录

21 篇文章

订阅专栏

change detection

12 篇文章

订阅专栏

摘要

CNNs在遥感图像变化检测（CD）方面取得了很大的成功，但仍存在两个主要问题。
- 现有的多尺度特征融合方法往往采用冗余特征提取和融合策略，会导致较高的计算成本和内存使用。
- CD中的常规注意机制难以建模空间光谱特征，同时生成三维注意力权重，忽略了空间特征和光谱特征之间的协作。
为此，提出efficient ultralightweight spatial–spectral feature cooperation network (USSFC-Net)。
- 设计了一种multiscale decoupled convolution (MSDConv)，与之前流行的atrous spatial pyramid pooling(ASPP)模块及其变体明显不同，因为它可以使用循环多尺度卷积灵活地捕获变化对象的多尺度特征。同时，MSDConv的设计可以大大减少参数的数量和计算冗余度。
- 引入了一种有效的spatial–spectral feature cooperation(SSFC)策略，以获得更丰富的特征。SSFC不同于现有的二维注意力机制，因为它可以在不添加任何参数的情况下学习三维空间光谱注意权重。
在三个遥感图像CD数据集上的实验表明，所提出的USSFC-Net比大多数基于cnn的方法具有更好的CD精度，拥有更低的计算成本和更少的参数，甚至优于一些基于transformer的方法。
论文链接：Ultralightweight Spatial–Spectral Feature Cooperation Network for Change Detection in Remote Sensing Images | IEEE Journals & Magazine | IEEE Xplore
代码链接：GitHub - SUST-reynole/USSFC-Net

动机

由于遥感图像的尺度变化和复杂的背景，各种多尺度特征融合模块和注意力机制已被引入到遥感图像CD任务中。然而，仍然面临着以下挑战。

直接引入现有的多尺度特征融合模块可能会导致大量的特征冗余，原因之一是并行使用多个无效卷积需要冗余的可学习参数。
虽然空间注意力和通道注意力都能在不同程度上提高CD的准确性，但它们忽略了空间特征和光谱特征的共同建模，不能直接推理三维注意力权重。双时遥感图像的光谱信息包含在多维通道的特征谱图中，空间和通道注意的级联经常被用来模拟变化物体的空间光谱依赖性，需要大量额外的内存和计算成本。

方法

USSFC-Net总体结构如下图所示。由一个双分支非共享编码器和解码器组成。双分支非共享编码器由MSDConv和SSFC组成进行特征提取，在这一阶段，每个MSDConv块都能有效地捕获双时态图像的多尺度特征。为了丰富MSDConv生成的特征，在空间相关扩展阶段使用SSFC策略进行特征增强。解码器包括一个反卷积上采样层和一个特征恢复层，使用提出的MSDConv。在编码器的每个阶段获取一个不同的图像，并将其连接到解码器的相应位置，以获得更丰富的变化对象的特征图。最后，网络利用点卷积进行降维和归一化操作，输出最终的CD结果。

Efficient Spatial Correlation Extension Using MSDConv
- 我们认为现有的多尺度特征融合方法在不同的尺度上重用了大量的卷积内核或池化操作。为了提高多尺度特征提取和融合的效率，提出了MSDConv，可以在不添加额外参数和计算成本的情况下有效地捕获图像的多尺度特征。
- MSDConv的结构如图1(b)所示。首先使用点卷积生成C/2个特征图。因此，原生特征图不需要任何空间相关性的映射，只能通过降维获得紧密的通道相关性。第二阶段使用循环多尺度卷积来扩展原生特征图的空间相关性，从而获得辅助特征图。循环多尺度卷积是通过结合诸如（1,3,6）等膨胀速率的膨胀卷积来实现的。值得注意的是，循环多尺度卷积在同一卷积层上将不同的膨胀率扩展到相应的卷积核。这确保了MSDConv可以通过一个卷积层捕获改变对象的多尺度特征，并通过层的迭代融合多尺度特征。
Spatial–Spectral Feature Cooperation
- 辅助特征图与原生特征图直接融合，空间-光谱的依赖性将被忽略。因此，设计了一个SSFC策略来建模空间光谱依赖性，以获得更丰富的特征。
- 受到Nadaraya–Watson kernel regression启发，设计了一种基于Gaussian-kernel的SSFC策略。SSFC策略可以利用SSFC的思想生成三维注意权值。通过对空间光谱依赖性的建模，可以增强遥感图像中变化物体的边缘和内部细节。与现有的注意机制相比，提出的SSFC不添加任何可学习的参数，这更简单、更有效。
Building Ultralightweight CD Network
- Architecture：建立了一个基于U型网络的非权重共享的伪孪生结构来改进流行的孪生网络。非权重共享编码器允许在学习特征编码权重时具有更大的灵活性。与权重共享结构相比，网络参数只增加了0.33 M。与其他复杂网络设计相比，提出了一个简单的特征提取，仅依靠差异图像和跳过连接进行时间差异信息交互。
- Encoder：使用一个伪孪生网络来提取双时态图像特征。具体来说，USSFC-Net的编码器使用了五个连续的下采样步骤，即第0-4阶段。在阶段0中，使用香草卷积来确保已改变的对象有足够的边缘和纹理信息。在中间阶段，使用所提出的MSDConv和SSFC来有效地编码语义信息。在第4阶段，将特征映射通道的数量设置为512个，以在保持网络的轻量级的同时提取足够的语义级信息。
- Decoder：为了恢复编码器生成的语义特征，设计了一个简单而有效的解码器来获取变化映射。解码器使用与编码器近似对称的结构，需要四次连续的解卷积来实现特征映射上采样。在每个阶段结束时，使用所提出的MSDConv来恢复已更改对象的特征。最后，利用1×1的卷积和激活得到预测的变化图。
- Details：构建了一个以孪生U-Net为骨干的超轻量CD网络。与孪生的U-Net不同，也通过考虑CD任务对它进行了一些更改。首先，使用一个非共享权重的双分支网络作为编码器，使特征提取更加灵活。其次，将网络的每个阶段的特征图的通道数量减半，以使网络更加紧凑。具体的网络结构见下表。
- Loss Function：二元交叉熵损失