语义分割论文阅读笔记2

A Lightweight Complex-Valued DeepLabv3+ for Semantic Segmentation of PolSAR Image，2022，SCI Q1

论文地址

摘要

语义图像分割是一种端到端的分割方法，可以对目标区域进行逐像素分类。作为光学图像中经典的语义分割网络，DeepLabv3+能够实现良好的分割性能。然而，当该网络直接用于极化合成孔径雷达（PolSAR）图像的语义分割时，很难获得理想的分割结果。原因是由于 PolSAR 数据集较小，很容易产生过拟合。在本文中，提出了一种轻量级复值 DeepLabv3+ (L-CV-DeepLabv3+)，用于 PolSAR 数据的语义分割。与原来的 DeepLabv3+ 相比，它有两个显着的优势。首先，所提出的网络具有简化的结构和参数，可以适用于小PolSAR数据，因此可以有效避免过拟合。其次，所提出的复值（CV）网络可以充分利用PolSAR数据的幅度和相位信息，从而带来比实值（RV）网络更好的分割性能，并且相关的CV操作在数学意义。两个 Flevoland 数据集和一个 San Francisco 数据集的实验结果表明，与原始 DeepLabv3+ 和其他一些 RV 语义分割网络相比，该网络可以获得更好的总体平均值、并集平均交集和平均像素精度。

引入

合成孔径雷达（SAR）具有全天时、全天候的成像能力，在军事和民用领域都具有非常重要的作用。作为极化合成孔径雷达（PolSAR）领域的研究热点之一，其在土地覆盖分类具有重要意义。早期的分类方法主要分别基于统计分布和物理散射机制。 然而，这些方法只利用了目标的一些浅层特征，精度不够高。为了提高土地覆盖分类的精度，一些基于机器学习以及深度学习的方法被用于PolSAR图像分类。这些方法的缺点是分类结果容易受到散斑噪声的影响，且计算量较大。

对于PolSAR图像的语义分割，主要关注土地覆盖。由于最初的语义分割网络是针对光学图像提出的，因此这些网络的输入数据是实值（RV）。然而，单偏振 SAR 和极化 SAR 数据都是复值 (CV)。为了充分利用SAR数据的幅度和相位信息，还提出了一些CV语义分割网络，取得了良好的分割结果，但这些网络中涉及的一些数学运算在数学意义上并不严格正确。

引出方法

提出了一种轻量级复值 DeepLabv3+ (L-CVDeepLabv3+) 用于 PolSAR 图像的语义分割，以获得比基于深度学习的经典 RV 分割网络更好的分割性能。所提出的网络的结构和参数在原始DeepLabv3+的基础上进行了简化，并且该网络中涉及的所有CV操作在数学上都是严格的。使用两个Flevoland 数据集和一个 San Francisco 数据集来验证所提出网络的有效性。

方法

L-CV-DeepLabv3+的总体架构如图所示。它包括两个模块：
1）编码器。包含骨干网络、复值空洞空间金字塔池化（CV-ASPP）和大小为 1 × 1 的 CV 卷积（CVConv）操作。
2）解码器。包含大小为 1 × 1 和 3 × 3的 CV-Conv 操作，以及两个比率为 4 的上采样操作。在解码器的末尾，有一个Magnitude操作，在最终的 softmax 操作之前将 CV 输出转换为 RV。
所提出的网络中的每个卷积操作后面都有一个 CV 激活函数和 CV 批量归一化。

• 主干网络
  原始DeepLabv3+通常选择ResNet、Xception、MobileNet作为骨干网络。然而，当这些深层结构直接用于PolSAR图像的语义分割时，由于 PolSAR 数据集较小，很容易产生过拟合，导致分割结果不佳。因此提出了一种轻量级复值Xception（L-CV-Xception） 作为骨干网络。
  
  它包含三个部分：1）入口流，2）中间流，3）出口流。入口流每层卷积核的数量减少到原来的1/2或1/4左右。中间流每层卷积核的数量减少为原来的1/4，结构的重复次数减少为10次，这是通过实验得到的。出口流每层卷积核的数量减少为原来的1/4。总体而言， L-CV-Xception 比原始 RV Xception 更轻。
  CV-SepConv操作。 第一步是复值深度卷积（CV-DWConv）操作，第二步是复值逐点卷积（CV-PWConv）操作。两个步骤的示意图如图所示，(a) CV-DWConv operation. (b) CV-PWConv operation。
  
• CV空间金字塔池化（Complex-Valued Atrous Spatial Pyramid Pooling，CV-ASPP）
  

CV-ASPP 和原始 ASPP 的主要区别在于：
1、CV-ASPP中的所有操作都是CV，而原始ASPP中都是RV操作。
2、CV-ASPP中去掉了原来ASPP中的全局池化。主要是由于主干网络的输出特征尺寸太小，无法用于池化层获取全局特征，而且可以避免数学意义上复杂的CV池化操作。

• 解码器
  解码器中使用了从L-CVXception和CV-ASPP获得的特征图。 L-CV-Xception 的特征图表示低级特征，而 CV-ASPP 的特征图表示高级特征。
  由于CV softmax运算在数学意义上比较复杂，因此在将提取的特征图从CV转换为RV时使用了Magnitude运算，这不会导致整个网络向后传播中的信息丢失。在解码器的末端，使用softmax分类器来获得最终的语义分割结果。

实验及结果分析

• 评价指标
  
  为了清楚地解释骨干网络的结构和参数对分割性能的影响，对中间流结构的重复次数进行实验，在三个数据集上分别进行。将重复次数从2变为16，图中显示其他结构和参数不变时，L-CV得到的OA、MPA和MIOU 。从而选择 10 作为三个数据集的中间流结构的重复次数。
  
  消融实验
  
  对比实验
  
  
  

总结

本文提出了一种轻量级的L-CV-DeepLabv3+用于PolSAR图像的语义分割。详细介绍了主干网络、CV-ASPP和解码器的结构。它们在原来的DeepLabv3+的基础上进行了简化，L-CV-DeepLabv3+涉及的所有操作在数学上都是严格的。由于提出的网络是CV，因此还引入了CV输入数据。此外，考虑到三个PolSAR数据集都很小，还给出了包括数据扩展在内的数据预处理。最后，在三个 PolSAR 数据集上进行了语义分割实验。主干网络结构和参数选择的实验结果表明，合适的结构和参数可以有效提高分割性能。三个数据集语义分割的实验结果表明，所提出的轻量级网络可以避免过度拟合，并且PolSAR数据的相位信息对于提高分割性能非常有帮助。由于所提出的网络的结构和参数是通过一些实验获得的，因此需要花费很多时间并且可能无法达到最佳的分割性能。未来，我们将使用搜索策略来获得CV网络的最优结构和参数。