论文笔记-领域自适应遥感图像分割的深度协方差对齐

---

title: 论文笔记-领域自适应遥感图像分割的深度协方差对齐
tags:

• 人工智能
• 无监督领域自适应
• 图像分割
  categories: 论文笔记
  abbrlink: a37e7948
  date: 2023-07-06 17:21:32

---

论文笔记-领域自适应遥感图像分割的深度协方差对齐

图床：https://imgur.com/a/IGStCio，（看不到图片，可能是你的网络没用魔法）

• 题目：《Deep Covariance Alignment for Domain Adaptive Remote Sensing Image Segmentation》（领域域自适应遥感图像分割的深度协方差对齐）

• github：https://github.com/Luffy03/DCA

• 数据集：LoveDA dataset

• Abstract-无监督领域自适应（UDA）图像分割备受关注，其旨在提升从源域到目标域知识迁移的泛化能力。

  在高分辨率遥感（RSI）图像中，不同领域的相同类别表现出非常不一致的分布，这严重限制了UDA的准确性。

  为解决这个问题，我们提出了为UDA SRI分割提出了深度协方差对齐（DCA）模型。DCA模型可以显示地对齐类别特征来学习共享的域不变判别特征表示，这增强了模型的泛化能力。特别的，类别特征池（CFP）模型第一次被用于提取类别特征，通过粗输出和深特征。然后，充分利用协方差正则化（CR）来使类内特征（intracategory）更加接近，使类间特征（intercategory）进一步分离。

  相比于目前存在的类别对齐方法，我们的CR模型通过将不同尺寸大小特征间的关系正则化，在处理分布不平衡和不一致的不同类别特征时，表现得更加坚挺。

  最后，我们提出一种逐段回归（stagewise procedure）方法来训练DCA模型来减小误差。

  我们使用LoveDA dataset来进行 乡村到城市 和 城市到乡村两种场景的实验，来证明DCA模型的优越性能。

I. INTRODUCTION

遥感图像分割（RSI segmentation: remote sensing image segmentation）旨在为图像的每一个像素分配一个响应的土地覆盖类型，这在许多应用上都有重要意义。然而，对标签训练样本的大量需求和地理区域之间的差异严重限制了遥感图像分割的发展。对于数据的缺失和差异，一种常见的解决方法是无监督领域自适应（UDA：unsupervised domain adaptive）。

随着基于深度卷积网络的语义分割方法的成功，UDA segmentation得到了快速发展，相关的UDA segmentaiton大致可以分为两类：对抗训练（AT:adversarial traing）方法和自训练（ST）方法。AT的大部分方法都是基于生成对抗网络（GAN:generative adversarial network ），很难训练。ST常采用由粗到细的工作方式，用阶梯机制来训练。

目前，大部分用于RSI segmentation的方法属于ST方法，然而很少一部分不错的成果，但这些方法的进展仍然被限制，原因如下：1.遥感图像中，不同地理区域的相同类别的土地覆盖特征不同。如下图（a）所示，乡村(rural)和城市(urban)的相同类别存在较大差异。2.遥感图像中的类别分布不一致，如下图（b）所示。这使提高模型的泛化能力困难加大。

为了解决这个问题，一个方向是对齐两个不同域的类别特征。前人提出了一些方法，但是这仍然存在问题：1.两个不同域的大的类内差异和不一致的类分布会严重影响不同类别特征的距离的计算。2.当同时调整类内和类间的相对大小时，学习不到决策边界，往往需要手动设置阈值。

为解决上述问题，我们提出了用于UDA RSI分割的方法：深度协方差对齐（DCA:deep covariance alignment）。DCA模型可以通过对齐类别特征来学习从源域到目标域的共享域不变特征知识。其大致结构如下：

• 类别特征池（CFP:category feature pooling）：通过粗输出和深特征来提取类别特征
• 协方差正则化（CR:covariance regularization）：利用CR来靠拢类内特征和分离类间特征，相比于现存的方法，CR更加鲁棒性更高，训练无需手动设置阈值
• 阶梯过程训练

II. RELATED WORK

A. UDA RSI Segmentation

目前的分割方法大致分为两类：ST和AT。ST方法的缺陷在于：难以训练，知识对齐不同域的分布，并没有提取不同域特征间的映射；AT方法的缺陷在于：易错伪标签会误导分类，造成错误累计，限制了ST方法的效率。

以上的这些方法大多忽视了不同地理领域的地域风格不同。特别对于乡村和城市，土地覆盖的呈现形式十分不同，为了提高UDA RSI分割模型的泛化能力，LoveDA数据集被制作了出来。

B. Category Alignment Methods in UDA

基于生成对抗网络的AT方法，提出了隐式的类别对齐，但相比之下，一些显示的类别对齐表现更好。

对于不同域间的相同类别的特征f1和f2，我们可以求二者之间的欧几里得距离：
$$d(f1,f2)=||f1-f2||$$
其中，|| ||表示欧几里德距离。

然后，我们便可定义f1和f2之间的差异：
$$L_{mse}(f1,f2)=\frac{1}{N\ast N}\sum _i^{N}d(f_1^i,f_2^i)$$
其中i代表不同域的第i个相同类别，N代表类别数量。由此，我们可以通过降低该损失来时类内特征。

我们还可以定义三重损失，来衡量不同类别间特征的差异：
$$L_{triplet}(f1,f2)=\frac{1}{N\ast N}\sum _i^N\sum _j^{N}max(d(f_1^i,f_1^j){|}_{i=j}-d(f_1^i,f_2^j){|}_{i\ne j}+\alpha ,0)$$
其中，alpha为预测边缘，需手动设置。通过这个损失，我们可以让类间特征分离。

III. PROPOSED DCA METHOD

A. CFP Module

我们使用Deeplab v2作为基础的分割模型，其编码器部分为ResNet50。

同一类别的特征在特征空间中聚类，类别聚类的质心可以代表类别特征分布。因此，我们提出CFP模型，其通过粗操输出和深层特征方式来提取特征，如上图所示，输入一个图片X，提取到的深度特征为Enc(X)属于R^(C * H * W)，并且粗糙的输出一个分类Y’属于R^(N * H * W)，然后得到类别特征f属于R^(N * C),其计算如下：

同样的，由CFP模型提取出来的类别特征f也代表类别特征的分布。值得注意的时f的计算只在一批图像中，而不是所有图像。并且，我们也不用标签Y来纠正类别特征f，因为Y’已经由真实标签Y来纠正。

B. Covariance Regularization (CR)

1) Motivations of CR

为了对齐类别特征，我们希望类内特征聚合以及类间特征分离，由CFP模型提取得到的两个特征f1和f2，我们可以通过提出的CR方法来对齐特征，其定义如下：

其中delta_f1和delta_f2分别代表f1和f2的特征值,u_f1和u_f2分别代表f1和f2的方差，E代表期望函数，corr(f1,f2)构造了一个N * N的协方差矩阵来代表不同类别特征之间的关系，corr(f1, f2)也称线性相关函数，是马氏距离，而不是上述提到的欧氏距离。

为了进一步说明CR模型，这里给出一个实验实例：

如图所示，我们分别用给用源域预训练好的网络输入两组源域的图片，通过CFP模型得到两组类别特征f1和f2，分别通过欧几里得距离和本文提出的协方差矩阵来进行特征对齐，其效果如图所示，我们发现CR可以有效的聚合类内特征，分离类间特征。

如上图所示，我们又给网络输入源域数据和目标域图片来计算协方差矩阵，源域和目标域之间的差异可以清楚的用协方差矩阵表示出来。并且，在协方差矩阵中，我们希望对角线的元素接近1，非对角线元素接近2，CR的表达式如下：

其中，看着像“属于”的符号表示接近于0的数，避免在log运算中出现0的对数的情况。

最后，我们将CR这种对齐方法与现有的方法MSE和 Triplet进行对比。

其中，MSE方法无法对齐不同类别的特征；Triplet方法难以找到决策边界，需手动设置；相比之下，CR模型不仅可以对齐不同类别的特征，也省去了手动设置边界的步骤，因为当协方差为0时，便是一个天然的边界，当协方差>0时，就是线性相关的，当协方差<=0时，就是不相关或负相关的。

2）Intradomain CR and Cross-Domain CR

对于域内类别特征对齐，我们有ICR，如上图（a）所示，给定一批图片，我们随机将其分为两组送入网络，利用CR来对两组类别特征进行正则化。受stop gradient的启发，我们使用停止梯度的方法保留coarse outputs部分的参数，防止其在方向传播的过程中更新参数，因为这部分的输出Y’受真实标签Y的监督，更加准确。损失表达式为：

其中，f1^s 和 f2^s分别代表源域两组不同的类别特征。

对于不同域类别特征对齐，我们有CCR，如上图（b）所示，两个域的粗糙输出和源域特征学习的梯度都被停止，因为源域的数据标签，更加可信准确，可以作为参考，将目标域和源域对齐。损失表达式为：

其中fs和ft分别代表源域和目标域的类别特征。

C. Training of DCA

与前述的ST方法类似，我们在训练DCA模型时采用阶梯式过程（stagewise procedure），逐步更新模型以减少误差。其具体过程如下图所示：

• 首先，在源域与训练分割模型，我们使用标准的交叉熵损失函数来作为监督：

  

• 同时，ICR用于对齐源域的类别特征。在每一步的开始，我们生成或更新一个伪标签Y_t^p来目标预测Y_t’，表达式如下：

  

• 然后，我们用L_CE^s， L_CE^t，L_ICR，L_CCR在几个阶段中训练DCA模型：

  

IV. RESULTS OF EXPERIMENTS

V. CONCLUSION

在这片文章中，我们提出了用于UDA RSI segmentation的DCA模型，其使用协方差正则化（CR）来聚合类内特征以及分离类间特征，显示地提取共享的域不变特征来增强模型的泛化能力。在LoveDA数据机所做的实验很好的证明了DCA的模型的良好表现。

在未来，我们将探索用定量的实验来分心DCA结果的可视化和解释，并于其他方法比较。此外，我们将研究领域自适应任务在RSI图像分割中的熟练程度，并且进一步探索其他方法来提高分割性能。