【论文翻译阅读】Change Detection in Synthetic Aperture Radar Images Using a Dual-Domain Network

#论文链接：https://ieeexplore.ieee.org/document/9420150

Change Detection in Synthetic Aperture Radar Images Using a Dual-Domain Network

使用双域网络在合成孔径雷达图像中进行变化检测

摘要

从合成孔径雷达（SAR）图像中进行变化检测是一个很关键也很具有挑战的任务。现有的方法主要集中于空间域的特征提取，而很少关注到频域。此外，在逐块特征分析中，可能会在边缘区域引入干扰特征。为了解决以上两个难题，我们提出了一个双域网络（DDNet）。具体来说，我们将离散余弦变化（DCT）域的特征考虑在内，并将重构的DCT系数作为频域分支，集成到所提到的模型（DDNet）中。频域和空间域的特征表示是用于减轻散斑噪声。此外，我们进一步提出了一个多区域卷积（MRC）模块，该模块突出了每个图像块的中心区域。上下文信息和中心区域特征被自适应地建模。在三个SAR数据集上的实验结果表明了所提模型的有效性。
项目地址：https://github.com/summitgao/SAR_CD_DDNet

介绍

近些年我们见证了合成孔径雷达（SAR）传感器的飞速发展，包括许多研究者所研究的SAR图像分割，纹理分析和变化检测。其中变化检测作为SAR图像解释的重要一环，主要集中于识别多时相SAR图像之间的变化区域，这也引起了遥感领域越来越多的关注。

基于SAR图像的变化检测由于散斑噪声的存在而比基于光学图像的变化检测更具挑战性。先前已有开创性的工作致力于解决多时相图像分析中存在噪声的问题。传统上，主流方法通常会比较多时相图片以生成一个差异图像（DI），并通过分析DI来得到变化图谱。尽管这些方法可以捕捉到一些像素级的变化信息，但其很难自适应地利用原始数据中丰富的特征表示。

如今，由于深度神经网络的普及，遥感图像变化检测方法得到了性能的提升。Samadi et al.在SAR图像特征的学习上采用了深度置信网络（DBN），使得变化检测的性能与传统的DI聚类方法相比得到极大的改善。Wang et al.提出了一个通用的用于高光谱图像变化检测的端到端卷积神经网络（CNN）。Li et al.提出了设计的很棒的CNN用于从原始图像中学习空间特征。在《Local restricted convolutional neural network for change detection in polarimetric SAR images》中提出了一个局部受限的CNN，确保了变化图中相邻像素之间的局部相似性。

通过利用深度特征表示，上述基于深度学习的方法都取得了巨大成功。然而，由于以下两个难题，建立一个稳健的SAR变化检测模型并非易事：

1. 空间和频率特征的相互强化：现有模型都主要基于空间域的特征提取，很少关注到频域。最近的研究表明，频域中的压缩表示能够抑制空间域中的噪声并能够丰富图像理解的模式。因此，我们应该考虑到在统一架构中增强空间域和频域的特征。

2. 中心区域特征的增强：上下文信息对于SAR图像变化检测的性能十分关键，因此，现有的方法通常使用分块特征来分类。然而，在每个图像块边缘区域的干扰特征很有可能会被引入。因此，在重复训练上下文信息时，如何突出每个图像块的中间区域是一个难题。

为解决这两个难题，我们提出了一个双域网络，也就是DDNet， 该网络可以同时利用空间域和频域特征来进行SAR变化检测任务。具体来说，我们首先考虑离散余弦变化（DCT）域中的特征。重构的DCT系数被集成到CNN模型中，作为一个inference的分支。因此，空间域和频域的特征表示都被用于降低散斑噪声。除此之外，我们还提出了一个多区域卷积（MRC）模块，该模块突出了每个图像块的的中心区域。直观地，上下文信息和中间区域特征能被高效的用于自适应建模。

本篇文章的贡献可以总结如下：

1. 据我们所知，我们是第一个将特征引入DCT域中来解决SAR图像变化检测问题的。空间域和频域的特征都得到了利用，因此散斑噪声可以得到高效的抑制。
2. 我们提出了一个MRC模块，在保存上下文信息的同时还能突出每个图像块的中心区域。中心区域的特征和上下文信息都能被自适应地组织，用于分类任务。
3. 在三个真实的SAR数据集上的实验结果表明我们所提出的双域网络（DDNet）的有效性，并且可以得到积极的结果。

方法论

给出两张SAR图像 I₁ , I₂，分别拍摄于相同的地理位置的不同时间内，目的是生成二进制的变化图，其中变化的像素标记为“1”，未变的标记为“0”。

本文提出的模型采用无监督模式。第一步就是预分类，这一步的主要目的是寻找有很大可能变化或者不变的样本。Log-ratio算子首先被用于生成 DI ；其次，实现 层次FCN聚类，将DI分为三个集群：Ω_c ，Ω_u 和 Ω_i 。属于Ω_c 和 Ω_u 的像素十分可靠，分别有更高的可能变化或不变。Ω_i 中的像素是不确定的，还需要进一步分类。在以 Ω_c 和 Ω_u 中的像素为中心的10%的图像块被随机选为DDNet的训练样本。需要注意的是，正样本和负样本的数量是一样的。对于一个给定的像素，以该像素为中心的图像块都是分别从 I₁ 和 I₂ 中提取出来的。每个图像块的大小为 r * r (本方法r=7)。两个图像块组合起来形成一个新的大小为 2 * r * r 的图像块。新生成的图像块被输入DDNet进行训练。 训练完成后， 以 Ω_i 中的像素为中心的图像块将被网络分类。 整个过程是无监督的。

DDNet的架构如图一所示。该网络包含一个空间域分支和一个频域分支。空间域分支用于捕捉多域特征，频域分支用于对DCT系数进行编码。接下来，我们分别介绍空间域和频域的特征提取。之后，我们将会展示如何将两个域的特征组合起来用于更深层次的分类。

图一 : DDNet模型。 该网络由两个分支组成： 用于捕捉多区域特征的空间域分支和用于编码DCT系数的频域分支。在空间域分支中，网络包含四个MRC模块，其能够在保留上下文信息的同时强调中心区域特征。在频域分支中，输入图像块通过DCT转换到频域，然后使用“ON-OFF”开关来选择DCT系数的关键分量。

图二 : MRC 模块示意图。 以图像块大小 r = 7 为例。 输入特征图卷积成 15 个通道，然后分为三组 Fg、Fh 和 Fv。 经过3×3卷积层后，可以得到三组特征F’g，Fh’ , 和 Fv’ 。 这些特征与逐元素之和融合以形成输出特征。

- A. 空间域特征提取
在空间域中，网络包含4个MRC模块，如图一所示。MRC模块的详细信息如图二所示。由于上下文信息对SAR图像变化检测非常重要，现有方法通常采取一个固定大小（33,55,7*7等）的窗口来判断位置是否发生变化。我们认为，如果放弃一些特征提取中的边缘区域，那么就可以突出中心区域并且边缘区域的干扰可能被消除。朝着这个目标，我们提出提取多域特征以增强SAR变化检测中的特征表示。

以下为三个代表性情况：
1）全局区域：如图二所示，全局区域是方形图像块的备选区域，其中CNN被引导用于捕捉中心像素的全局上下文信息。
2）水平中间区域：图像块主要集中于中心地区，顶部和底部的像素都被移除。
3）垂直中间区域：图像块主要集中于中心地区，左端和右端的像素都被移除。

如果以上区域被CNN模型纳入考虑范围，那么就能突出中心区域并使得边缘的干扰像素得到很好地抑制。
给出一个图像块 A∈R^2*r*r, 我们将其输入一个1*1的卷积层，以生成新的特征图 F∈R^C*r*r。之后，根据通道尺寸将F分为三个组，F_g, F_h 和 F_v。因此，F_g, F_h 和 F_v的尺寸分别为（C/3）× r × r。F_g 代表全局区域特征。 F_h 表示水平中间区域特征，其中顶部和底部的几行设置为 0。 F_v 表示垂直中间区域特征，其中左右的几列设置为 0。需要注意的是，本工作中 r 设置为 7。两个顶行和两个底行在F_h中设置为 0，而左两列和右两列在 F_v 中设置为 0。
在3×3卷积层之后，我们分别得到三组特征 F^’_g，F_h^’ , 和 F_v^’。 这些特征被逐元素求和融合为：

其中 F_fus ∈ R^(C/3)×r×r 表示空间融合特征。C 在我们的实现中设置为 15，因此我们
获得最终的空间融合特征图，其大小为5 × 7 × 7。然后将特征被重构为向量 V_s，并且
向量的长度为 5 × 7 × 7 = 245。 因此，V_s 有一个全局上下文视图，并且突出了中心区域信息。

- B. 频域特征提取
由于散斑噪声的存在，很难从空间域中的 DI 中提取稳健的判别特征。最近，研究人员验证了频域中的压缩表示能够抑制散斑噪声。受徐的工作启发，DCT 被用于频率特征提取。
通过双线性插值将大小为 2 × r × r 的输入图像块调整为 2 × 8 × 8。然后，图像块通过 DCT 转换到频域。之后，得到的 DCT 系数向量 v​​ 长度为 2 × 64 = 128。已知，DCT 在空间域中的噪声抑制方面非常有效。为了进一步选择 DCT 系数的关键分量，我们使用了一个“ON-OFF 开关”，它通过两个线性变换生成一个信息向量 i 和一个注意门 g ，如图 一所示。信息向量 i 和注意门 g 生成为：

其中 Wⁱ 和 W^g 是权重矩阵，bⁱ 和 b^g 是线性变换中的偏差，σ 表示 sigmoid 激活函数。
然后，DCTB 对信息向量使用逐元素乘法的注意门，并获得最终的频率特征向量 V_f :

其中⊙是逐元素乘法。

- C. 最终变化图的生成
在得到空间域特征 V_s 和频域特征 V_f 后，将它们连接起来并输入全连接（FC）层。 然后，通过Softmax层计算变化或不变的可能性，以生成输出。训练结束后，Ω_i 中的像素点将被网络分类，得到最终的变化图。

实验结果与分析

在本节中，我们基于三个真实的SAR数据集进行了广泛的实验。首先，我们介绍实验所用的数据集并给出评价标准；之后，讨论影响变化检测结果的关键参数。最后，将DDNet与其他几个最先进的方法做出对比。

- A. 数据集和评估指标
为了证明我们所提出的DDNet的有效性， 我们使用了由不同传感器获取的三个共同配准和几何校正的多时相SAR数据集。第一个是Ottawa数据集，该数据集是由RADARSAT SAT传感器在1997年五月和七月拍摄的。第二个数据集是Sulzberger，其中图片大小为256256像素，该数据集是Sulzberger Ice Shelf数据集的一部分，由欧洲航天局的ENVISAT卫星所提供。这张图片展示了2011年3月海啸造成的冰架破裂。最后一个是Yellow River数据集，拍摄于中国黄河口。其中的图片由Radarsat-2卫星于2008年6月和2009年6月捕获，大小为291306像素。值得注意的是，由于黄河数据集中的散斑噪声干扰过于强大，精确地识别变化区域是非常困难的。
我们使用变化检测中五种最常用的评价标准来测量所提出的DDNet的性能，包括false-positives (FP), false-negatives (FN), overall error (OE), percentage of correct classification (PCC), and kappa coefficient (KC).

- B. 图像块大小分析
空间上下文信息由大小为 r 的图像块捕获。我们为评估DDNet的性能分别取r = 5,7,9,11,13和15。图三展示了r与PCC之间的关系。据观察可知，随着r逐渐增长，PCC的值刚开始会上升，之后趋于稳定。PCC曲线显示了空间上下文信息对变化检测任务十分重要。然而，大的图像块会增加计算负担，并且会引入一些干扰信息影响变化检测表现。因此，我们在接下来的实验中采用r=7。

图三: 不同图像块大小和PCC的关系

- C. 消融研究
为了研究MRC模块和频域特征的有效性，消融实验也基于三个数据集。我们设计了三种形式：
1） CNN 表示传统的 CNN；
2）w/o DCT 指去除频域分支的模型；
3）w/o MRC 指去除空间域分支的模型。
从表格1中，我们可以看到不管是去除DCT还是MCR的模型，在变化检测性能上都下降了，而且影响到了特征表示。
为了进一步展示MRC和DCT的有效性，我们将两个域的特征都进行可视化，如图四所示。在双域网络中学习到的表示明显好于具有更多分离和明确界限的集群的输入。

图四: Ottawa数据集上特征表示的可视化。（a）输入特征 （b）空间域特征 （c）频域特征 （d）双域特征

- D. 性能比较
为证明所提模型的有效性，我们将DDNet和以下流行的基准进行比较：PCAKM,NR-ELM,DBN,DCNet 和 MSAPNet。值得一提的是，上述方法均使用其描述的默认参数实现。表二和图五分别总结了不同方法的定量和可视化结果。

图五: Ottawa数据集上不同变化检测方法的可视化结果（第一行）；Sulzberger数据集上的（第二行），Yellow River数据集上的（第三行）。（a）t1时刻拍摄图像（b）t2时刻拍摄图像（c）真值图像 （d）PCANet 的结果（e）NR-ELM的结果 （f）DBN结果 （g）DCNet结果 （h）MSAPNet结果 （i）我们所提DDNet结果

在Ottawa数据集（图五的第一行），我们可以看到PCAKM的结果受到较高的FN值的影响，也就是说许多变化区域被忽略了。我们提出的DDNet取得了最好的性能，其KC值分别比PCAKM,NR-ELM,DBN,DCNet和MSAPnet提高了3.04%，0.39%，0.01%，0.23%和0.3%。与此同时，在Sulzberger数据集中（图五第二行），我们可以看到PCAKM和NR-ELM包含过多干扰区域，因此整体性能也受到了影响。对NR-ELM,DBN和DCNet而言，最终的变化图丢失了许多变化区域，并且也受到了高FN值的干扰。除此之外，基于深度学习的方法的性能比浅层模型方法好。所提DDNet的KC值在这个数据集中分别比DBN,DCNet和MSAPnet提高了0.99%，0.53%和0.57%。通过上述对比，显而易见的是所提DDNet能够在Ottawa和Sulzberger数据集上有效并行地提取空间域和频域特征。

Yellow River数据集上的散斑噪声非常强，也因此在其上精确识别变化区域非常具有挑战性。在黄河数据集中（图五第三行），由PCAKM 和 NR-ELM生成的最终变化图中存在许多小的噪声区域。因此，表二中两个方法的FN值都非常高。与其他方法相比，所提出的 DDNet 在KC值上与 PCAKM、NR-ELM、DBN、DCNet 和 MSAPNet相比分别获得了 8.63%、10.18%、3.04%、0.79% 和 1.01% 的增益。

三个数据集上的实验结果表明了所提出的DDNet获得了最好的性能，并碾压所有baseline。此外，我们的模型比传统的基于CNN的模型取得更多优势，主要因为空间域和频域特征的联合学习。

总结与展望

在本文中，我们提出了一个新颖的DDNet来解决SAR变化检测任务。在DDNet中，空间域和频域的特征得以融合 ，改善了分类性能。在空间域中，我们设计了一个MRC模块来突出输入图像块的中心区域特征；在频域中，我们采用DCT和门控机制来提取频域特征。三个数据集的实验结果证明我们所提出的DDNet方法要优于多个杰出的变化检测方法。未来，我们计划在大规模的数据集上验证本变化检测方法。