【LiST-Net】利用轻型SAR传感器网络增强洪水测绘（IEEE TGRS）

摘要

• 利用合成孔径雷达（SAR）检测洪水引起的变化是危机管理和损害评估的关键。然而，目前的方法主要集中在光学图像中建筑物的变化，与洪水的复杂结构相比。具有噪声，并伴随计算成本增加。阻碍它们在现实应用中的成功。
• 因此，提出LiST-Net, a lightweight SAR transformer network with dimension-wise attention，以提高洪水检测精度。
  • graph neighbor module (GNM)增强编码器内相邻像素和多日期特征的详细信息。
  • dimension-wise inter-active attention(DIA)模块，在有效地提高特征表示的同时降低计算复杂度。
  • attentive supervised learning module (ASLM) ，通过pixel mask gate来减轻噪声，获取水体的变化信息，提高水体边缘轮廓的准确性。
• 在两个洪水数据集（S1GFloods和ETCI-2021）上验证了LiST-Net的有效性。实验结果表明，LiST-Net优于现有方法，在S1GFloods数据集上，F1提高了94.7%，IoU提高了88.7%，计算成本更低（11.78G），参数更少（7.34M）。
• 论文链接：LiST-Net: Enhanced Flood Mapping With Lightweight SAR Transformer Network and Dimension-Wise Attention | IEEE Journals & Magazine | IEEE Xplore
• 代码链接：Tamer-Saleh · GitHub

动机

之前的一些研究已经被证明是有效的，但是它们主要是用于检测建筑的变化，特点是变化区域具有相对规则的边界。而洪水表现出广泛的分布和复杂的结构。其次，这些方法没有对SAR图像进行充分的评价，并且存在噪声，缺乏颜色和纹理信息。第三，边缘完整性不高且对小的变化物体检测能力有限。最后，计算成本的增加，给CD的训练网络提出了挑战。

如图1，第一排农用塑料温室和第二排机场区已转变为洪水区。先进的方法显示了对变化的高度敏感性，可以有效的检测水样区域。但是本文方法能够更有效的检测机场的变化信息，并能准确的检测河岸被洪水淹没的像素，表现优于其他方法。

方法

LiST-Net用于从SAR图像探测洪水。总体结构如下图所示。

LiST-Net主要有：GNM、DIA和DPEM，以及一个解码器，通过ASLM模块预测洪水区域。

首先采用ViTAEv2作为主干，省略了最后的全连接层，以适应CD任务，为了优化计算效率，只使用四个主干阶段，将每个阶段的特征图降采样到之前分辨率的一半。具体来说，在编码器中，GNM模块分别从双时态图像中提取多层次特征，增强了语义信息和邻近像素的细节，采用减法加绝对值从层次特征中生成了差异特征Di，使用DIA模块有效降低计算复杂度，增加获取变化图的准确性。利用DPEM对提取的含有变化信息的特征进行全面增强。随后，通过一个连接过程，将与两个分支相同级别的层次特征组合起来。产生细粒度的变化特征。不同的Di分层处理并输入到DPEM模块，以更有效的捕获变化信息。最后，解码器接收时间变化信息，并在ASLM的帮助下，以自上而下的方式将其与深度语义特征无缝集成。，最终生成变化图。

• Graph Neighbor Module
  • 高级特征有助于对象定位，低级特征提供详细的边界和纹理信息。两个主要目标： 1)在高级特征中增强语义信息，同时在低级特征中增强详细信息；2)提取中层特征，以强化目标的特定方面。为此，提出了GNM来无缝地组合来自相邻阶段的属性，如图3所示。
  • GNM使用残差学习方案融合从主干的不同阶段提取的特征，以t1时刻为例，首先应用最大池化和3×3卷积层，得到了一个降采样特征，然后通过BatchN和ReLU增加通道，得到，在通过3×3卷积层、BatchN和ReLU进一步得到，接着通过3×3卷积层减少通道数，并进行上采样，得到。连接这三个特征，使用3×3卷积层处理特征。利用残差学习，将经过1×1卷积调整通道数后的特征和该特征求和，增强时间特征，得到GNM模块的输出结果。
  • 
• DIA Module
  • 随着输入图像的空间分辨率的提高，计算复杂度二次增长，增加了网络训练的挑战。使用DIA模块代替传统Transformer架构中的自注意力。如图4所示。
  • 通过 channel–channel attention对特征图Oi进行编码，生成注意图A1（通过点积QKT得到），该空间注意力图表现出大小为的线性复杂度，而传统的transformer的空间注意力图大小为的二次复杂度。同时，利用channel-width attention和channel-height attention进行编码，分别生成大小为和的注意图A2和A3。A2和A3增强了通道与其空间维度之间的相互作用。随后，将三个注意力图结合起来，DIA计算复杂度为O ( CC + CW + C H )，复杂度明显低于传统的注意力带来的。
  • 
• Detail-Preserving Enhancement Module
  • 当代CD方法，大多数容易忽视细粒度特征，最终导致水域边缘不完整。解决问题的一种方法是利用从多个日期场景中获得不同图像来增强不断变化的水域边缘的完整性。但是传统的代数运算会产生大量的计算成本，并具有有限的特征表示能力，从而限制优化。 DPEM旨在从多个图像中全面捕获不同的信息，如图5所示。
  • DPEM由两个不同的分支组成：
    • detail-pooling branch：采用了轻量级的spatio-channel 3-D attention module (LS3DAM)生成更全面的变化特征，结合3-D spatial和channel attention，可以有效地学习注意力权重。
    • difference enhancement branch：主要通过卷积和级联来增强细节，应用LS3DAM提取更精细的细节。
  • 最后，结合两个分支的特征，得到DPEM模块的输出。
  • 
• Attentive Supervised Learning Module
  • ​​​​​​​​​​​​​​以最后一个阶段的DPEM的输出作为ASLM的输入。首先应用一个1×1卷积层，然后应用一个sigmoid函数生成变化图，接着使用Invert LUT产生反向变化图，其中包含不变的背景参数。在应用一个1×1卷积层，将得到的结果和输入特征使用元素乘法结合，得到该模块的输出。
  • ​​​​​​​

实验

Comparison With Leading Techniques

1) Quantitative Evaluation:

2) Qualitative Evaluation:

Efficiency Analysis

Ablation Study

Limitations