self-training | 域迁移 | source-free（三）

• 文章转自微信公众号：机器学习炼丹术
• 论文名称：Domain Adaptive Semantic Segmentation without Source Data
• 会议名称：ACM MM
• 作者：炼丹兄（欢迎交流共同进步）
• 联系方式：微信cyx645016617

0 综述

上图展示了source-free domain adaptation和一般的DA的区别。在之前的两篇source-free的论文中已经反复讲解，不再赘述。

1 方法

这文章也是使用Positive learning和Negative Learning的方法。

• 方法名称：Source-Free domain adaptive Semantic Segmentation （SFSS）

1.1 Notations and Definations

SFSS的训练分成两个步骤（和其他的source-free的算法一样）“

1. 先在有标注的source data上有监督的训练；
2. 在无标住的target data上做无监督的训练。

1.2 Positive Learning

pesudo label是半监督算法广泛使用的方法。然而通过softmax和argmax来获取的pesudo label是不可信的，因为source和target之间的域差距。一种方法是选择高置信度的伪标签，这个可以有效的去除错误的标签，但是这个会陷入“winner-takes-all” dilemma。也就是说模型会预测majority classes而忽视minority classes。

这篇文章为了解决这种imbalance，将intra-class threshold 定义为：

这个公式的官方解释：

这个公式的我的解释：
就是每一个类别，选择他们的softmax之后的预测值的前百分之K个。就是每一个类别会选择不同的阈值，保证每个类别都balnace一些

这个方法面试两个问题：

1. The most noise labels are filtered due to the high softmax prediction confidence selection.
2. 总是选择高置信度的标签，会导致分割模型有偏。

论文中说：会在每一个epoch的开始来更新pesudo label。

得到了pesudo label后，使用crossentropy损失来更新分割模型：

此外，我们还更新那些没有被选中的pixels，通过entropy minimization的方式。Entropy minimization已经被展示有效，在半监督分割算法和domain adaptation当中。

熵最小化可以被认为是交叉熵损失函数的soft-assignment的版本。

所以positive learning的loss就是：