（ECCV2020） A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation 论文笔记

(ECCV2020) Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation 论文笔记

paper
code

本文针对图像分割问题的无监督领域自适应方法，提出一种对齐条件概率分布的新方法。

本文贡献

1. 提出一种跨领域图像分割新的对抗学习的结构
2. 该结构在类别层面对齐源域和目标域的特征进行对齐
3. 在一些数据集上评估了该方法的优越性

（嗯，就讲故事呗，这三个贡献没啥新颖的东西，很多论文都是这三个（高端点的会加个理论证明了方法的优越性/可行性。

模型结构

模型结构中包含，特征提取器$F$，分类器$C$，类别判别器$D$（图中的Fine-grained Domain Discriminator），这部分是这篇文章的重点部分。

损失函数

所有方法中都包含的分类损失

$L_{seg}=-\sum _{i=1}^{n_s}\sum _{i=k}^K{y}_{ik}^{s}log(p_{ik}^s)$

传统的交叉熵分类损失

域判别损失，加入了类别层面的对齐，所以相比于传统的域损失函数，此处的损失函数为

$L_D=-\sum _{i=1}^{n_s}\sum _{k=1}^K{a}_{ik}^{s}log(P(d=0,c=k|f_i))-\sum _{j=1}^{n_t}\sum _{k=1}^K{a}_{jk}^{t}log(P(d=1,c=k|f_j))$

式子中的$K$表示类别数，$f_i$表示源域样本$x_i$的特征向量，$f_j$表示目标域样本$x_j$的特征向量。

式子中的$a$为soft label，在模型结构中是Encoding module的输出，后面会提到。

这个式子用于优化类别判别器$D$，$D$的作用是当给定一个特征$f$，类别判别器$D$不仅需要判断出这个$f$来自源域还是目标域，同时还要判断出这个特征$f$来自哪一类

具体实现文中没有提及，给出的代码中，实现方法是将类别数目$\times 2$。这样输出的logits数目也$\times 2$，softmax后。前半表示$P(d=0,c=k)$，后半表示$P(d=1,c=k)$

与传统对抗学习一样，除了优化判别器，还要优化特征提取器，并与判别器新城对抗

$L_{adv}=-\sum _{j=1}^{n_t}\sum _{k=1}^K{a}_{jk}^{t}log(P(d=0,c=k|f_j))$

soft label

最早的没有对齐条件概率分布的对抗方法中，标签只含有领域信息，即图中的Binary domain labels。源域为0，目标域为1。

之后有一些使用hard label进行对齐，其中源域数据直接使用给的标签，目标域数据使用分类器给出的预测作为伪标签，在本文中即

$$a_k=\{\begin{array}{rlr}& 1& k=argma{x}_k{p}_k\\ & 0& otherwise\end{array}$$

本文使用的是soft labels的方法，不直接使用one hot那样的形式做标签（one-hot形式就是其中一个label为$1$，其他都是$0$）

$a_k=\frac{exp(\frac{z_k}{T})}{{\sum }_{j=1}^{K}exp(\frac{z_j}{T})}$

就是将分类器给出的logits加权softmax下作为判别器的输入用于对齐条件概率分布。T是一个温度参数，T越大，softmax结果输出越平均。这个是鼓励soft label分布跨类别，让soft label不要变得和hard label一样。

总结

本文主要就是将soft label应用到域判别器中，用于对齐源域和目标域的数据特征的条件概率分布。