【A2Net】利用渐进式特征聚合和监督注意力进行轻量级遥感变化检测（IEEE TGRS）

摘要

• 基于CNN的方法，内存和计算成本很高。
• 提出轻量级网络，基于移动网络通过渐进式特征聚合和注意力提取的特征来识别变化，称为A2Net。
  • 移动网络表示能力较弱，设计了一个相邻的特征聚合模块（HAM）来融合主干网络邻近阶段的特征，加强时间特征的表示能力。然后，提出了一个渐进变化识别模块PCIM来从双时态特征中提取时间差异信息，
  • 还设计了一个SAM来重新加权特征，有效的从高层次特征聚合到低层次特征。
• 结合NAM、PCIM和SAM，A2Net可以在三个具有挑战性的RSCD数据集上取得良好的结果，并具有更少的参数（3.78 M）和更低的计算成本（6.02 G）的最先进的方法。
• 论文链接：Lightweight Remote Sensing Change Detection With Progressive Feature Aggregation and Supervised Attention | IEEE Journals & Magazine | IEEE Xplore
• 论文代码：https://github.com/guanyuezhen/A2Net

动机

许多变化检测方法都是利用CNN强大的表示能力来处理变化检测任务，并取得比传统方法更好的性能，但是内存和计算成本很高。迫切需要为遥感变化检测任务设计一种模型参数少、计算成本低、检测精度高的轻量级方法。基于此提出A2Net。

方法

A2Net总体结构如下：

• 编码器

  • 采用轻量级骨干MobileNetV2来提取双时态特征，去掉全局平均池化层和最后的全连接层，以适应遥感图像变化检测任务。主干每个阶段都包含一个步幅为2的卷积层，因此，每个阶段的特征图都被降采样到前一个阶段一半的分辨率。为了降低计算成本，只使用后四个阶段的特征进行该任务。

  • Neighbor Aggregation Module

    • 增强双时态特征的表示能力。通过应用HAM分别在高级特征和低级特征上进一步加强了对象的语义信息和细粒度细节。

    • 考虑到提取的多层特征描述对象的不同，整合多级特征来提高特征提取能力：

      • 详细信息和语义信息可以分别在低级特征和高级特征上得到进一步加强。

      • 细节和语义信息可以被挖掘在中级特征中。

    • NAM结构如下图所示。利用残差学习合并相邻特征，低级特征首先通过最大池化操作，在经过3×3卷积、批处理归一化和Relu激活函数降采样（和中间特征分辨率一致）和增加通道；高级特征通过一个3×3卷积减少通道数，并通过双线性上采样操作将分辨率调整到和中间特征分辨率一致；中间特征使用3×3卷积减少通道数。级联三个特征，聚合多级信息，使用残差学习保存中间特征信息，并确保低级和高级特征作为补充，分别使用1×1卷积和3×3卷积来调整中间特征和级联特征的通道数。

    • 

• 解码器
  • 设计一个轻量级解码器执行自上而下的多级特征融合，用于预测具有精细细节的变化映射。构建了PCIM和SAM作为两个基本单元，分别充分探索时间变化信息，并对特征重新进行加权，从而实现有效的多级特征聚合。
  • Progressive Change Identifying Module
    • 使用一系列的卷积和残差连接来进行多尺度特征学习。有4个不同空洞率的卷积{7、5、3、1}，4个1×1卷积作为残余连接。
    • 
  • Supervised Attention Module
    • 特征金字塔网络提供了一个经典的架构，即，从粗到细为多级特征融合。然而，较高级别的特征缺乏上下文指导，这很容易导致大量的噪声和多层次信息聚合的困难。在这里，引入了一个SAM来重新校准特征，以实现更好的多级特征融合。如图5所示，首先使用带s型激活函数的1×1卷积来生成变化映射。然后，在经过反转操作。所得到的变化图和反转变化图描述了变化对象的上下文信息和不变的背景。使用1×1的卷积层从两个变化图中生成像素注意力掩码，最后，出入特征重新校准像素注意力掩码，从而得到最终特征。
    • 
• 损失函数：混合损失，包括二进制交叉熵损失（BCE）损失和dice损失。

实验

Comparison With the State-of-the-Art

Ablation Studies

Discussions About Failure Cases