【弱监督学习】Learning deep semantic segmentation network under multiple weakly-supervised constraints ...

0.前言

文章全名《Learning deep semantic segmentation network under multiple weakly-supervised constraints for cross-domain remote sensing image semantic segmentation》
这是一篇2021年发表在ISPRS上的一篇关于遥感图像分割的文章，通过设计一个新的弱监督目标函数和一个动态优化策略，让深度图像分割网络更适合真实的遥感图像分割场景。

1.本文动机

本文着眼于遥感图像分割，着手解决现有遥感图像分割的两大问题：
第一则是没有大量的高质量的训练集标签；
第二则是真实场景中的测试数据往往和训练数据不太一样（数据分布或域不太一样）；
为了解决上述两大问题，本文提出了一个多个弱监督约束量的目标函数和一个动态优化策略，让深度遥感图像分割网络更加适合真实场景。

2.本文方法

为了叙述清楚本文的方法，本文也先定义了一些符号，如下：

整体pipeline如下图所示：

2.1 无监督风格转换

本文将源图像转到目标图像用的方法如上图所示，采用了DualGAN。结构如下：

源图像通过生成器A来生成目标图像，然后生成的目标图像又通过生成器B转换回源图像。生成成的源图像和源图像之间做重建损失，同理目标图像也经历类似的过程。同时有两个判别器判别图像是生成的还是真的。

使用DualGAN的原因是因为其它无监督的方法对遥感图像来说效果并不好，因为遥感图像有着许多复杂的特性。

2.2 多无监督约束的目标函数

由于使用DualGAN转换出来的图像和目标域不能完全相同，肯定存在一定差异，所以本文引入三个弱监督的约束来构成目标函数，通过优化目标函数来获得更好地目标域分割结果。
三个弱监督约束如整体pipeline所示，分别是：

1. 弱监督迁移不变约束；
2. 弱监督伪标签约束；
3. 弱监督旋转连续性约束。

这里原文虽然把上面的这三个东西称之为constraint，但其实这三个就是三个弱监督学习的损失，就是之前的你们了解的那个损失。
这三个约束项以下面的式子组合成目标函数：

如此，涉及到一个比较难以决定的问题，那就是不同约束项前面的权重参数怎么选择比较合适。文中采用高斯ramp-up曲线来选择$\alpha$和$\beta$，这个曲线可以表示为$exp[-5(1-t{)}^2]$，$t$从0开始线性增加到训练最后增加到1，从高斯ramp-up曲线上取出的值就被赋给了$\alpha$和$\beta$，作为权重参数。高斯ramp-up曲线的图像大概是下面这个样子：

2.2.1弱监督迁移不变约束

经过DualGAN的转换，我们能够获得一个生成的数据集，这个数据集和目标域的数据集是类似的，用这个数据集很利于我们学习目标域的特征。于是文章使用这个生成的数据集来训练一个DSSN，从而获得了一个可以对目标域进行分割的网络。

这个所谓的弱监督迁移不变约束也就是平时常见的交叉熵损失，如下：

之所以称之为弱监督，是因为我们并没有目标域的标签，而是使用生成的目标域的数据和其标签来对DSSN进行训练的。

2.2.2 弱监督伪标签约束

由于经过DualGAN生成的目标域图像并不真的是目标域图像，所以这些生成的图像在整个网络的训练过程中只能起到指导作用，靠着生成的这些数据是不能够把网络训练好的。鉴于之前的一些工作证明了伪标签在弱监督学习里的作用，本文引入第二个约束——弱监督伪标签约束。

每一代经过弱监督迁移不变约束训练的DSSN（或者初始化参数）都可以把目标域图像作为输入从而生成一个标签，这个标签就是所谓的伪标签。我们在生成伪标签之后利用伪标签做一个损失，也就是把目标域图像和对应的伪标签看做训练集，从而更新DSSN，就可以实现伪标签约束，利用伪标签提升网络的性能。

在更新计算损失的时候，依然采用经典的交叉熵损失：

只不过损失中的图像是目标域图像，标签是伪标签。

当然，不是所有的伪标签都是好用的，文中设置了一个判断伪标签是否可用的条件，那就是top1类别的值和top2类别的值之间的差必须超过一个设定好的阈值，以此来作为判断伪标签分类好坏的标准。只有超过阈值的伪标签才能参与优化。

2.2.3 弱监督旋转连续性约束

为了能够利用到无标签的数据，本文引入了弱监督旋转连续性约束。这个约束的思想是，要很好地完成pixel-level的分类，就要让模型对经过变换后的图像仍然有分类能力。如此，本文将无标签的Target图像随机旋转90、180、270度，作为输入传进模型，获得输出的分割结果，然后求没旋转和旋转后的分割结果的误差，当然旋转后的分割图最后要旋转回来，误差用的就是简单的MSE，如下：

2.2.4 动态优化策略

这个动态优化策略其实讲的就是上面的所有提出的点如何使用的。整体的算法步骤如下：

从这个算法步骤来看，分为两个阶段，准备阶段和动态优化阶段。

准备阶段首先使用source和target数据训练出一个DualGAN，然后把source数据通过DualGAN转化${\mathcal{S}}^{{}^{\prime }}$，然后就先只用WTIC（弱监督迁移不变约束）来优化DSSN，训练出一个比较ok的DSSN，随后利用这个DSSN生成伪标签。

动态阶段就开始引入之前讲的所有约束了，也就是用整体的损失来对DSSN进行进一步优化。

3.实验

3.1 阈值设置

在2.2.2小节中，我提到了本文在生成伪标签时是有一个过滤机制的，会把top1和top2的类间相差的值超过一定的阈值，才会保留。这个阈值如果设置的过大，就会导致好多区域被滤除掉，从而带来不好的结果。所以这个阈值取的十分关键，本文通过大量实验最终确定阈值取0.5比较合适，实验结果如下：

3.1 DualGAN与其它GAN的对比

很明显，DualGAN效果是最好的。

4.总结

本文通过提出了一个多弱监督损失和动态优化策略，解决了目前遥感图像分类中存在的domain-shift的问题，并且很好地利用了无标签数据。