论文解读：Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent

论文题目：Taking A Closer Look at Domain Shift Category-level Adversaries for Semantics Consistent Domain Adaptation

(CVPR2019)

代码地址：https://github.com/RoyalVane/CLAN

论文主要贡献：现有的分割自适应方法没有考虑不同类别的对齐差异，有的类别不自适应的情况下已经很好的对齐了，而有些类别没有很好的对齐，而现有方法统一的特征对齐，会造成原本就很好的对齐的类别特征尝试负对齐(negtive transfer)，因此这篇论文在特征对齐时考虑到了类别差异，具体的是对特征判别器的对抗损失上下功夫，通过对特征图的对抗损失的不同像素点出设置权重，达到不同类别的对抗损失不同，well-aligned的类别特征对抗损失权重低，bad-aligned的类别特征对抗损失的权重高；

负对齐的形象化描述：

论文网络结构：

1、结构中有两个结构相同的classifiers，但是通过weight discrepancy loss约束这两个分类器具有不同的权重；这两个分类器相同于两个分割输出；

训练步骤：输入源数据，经过特征提取，分割器(分类器)得到两个预测，然后对这两个预测结果计算分割loss，然后将两个预测结构像素级的相加输入判别器；输入目标域数据时，同样有两个预测，相加输入判别器，但是还需要将这两个预测像素级别的距离度量得到local alignment score map，然后和目标域的判别损失想乘，得到自适应的目标域的判别损失；

判别器的输出适合local alignment score map尺寸相同的；像素级的判别器；判别器的结构同DCGAN的判别器，5个4*4的卷积层，通道分别是{64、128、256、512、1}，每个判别器的卷积层有leaky-relu，最后接上采样层，使得判别器的输出尺寸和local alignment score map一致；G用SGD的优化器(momentum：0.9)，D用Adam优化器(belta1:0.9,belta2:0.99),都有weight decay：5e-4；G的学习率初始值：2.5e-4，ploy下降，power：0.9；D的初始学习率：5e-4，训练时保持不变；

输入图像crop成512*1024；预测时直接upsample成1024*2048，训练10万次iterations；

个人感觉这种操作很像像素级的attention，只不过这里是给预测的像素级的对抗损失的每一个位置学习一个权重，因为是分割任务，因此可以看成对不同类别的对抗损失自适应；同时这篇论文借鉴了CVPR2018的Learning to adapt structured output space for semantic segmentation论文，对预测图(输出空间进行判别，而不是特征上进行判别)，好处在于可以联合优化预测器(classifiers)和特征提取器；

自适应对抗损失权重计算公式：

不同loss的权重：lambda-weight：0.01；lambda-adv：0.001；lambda-local：40；E：0.4；

训练两个结构：deeplabv2+res101；FCN8s+VGG16

实验结果：

补充实验：

1、左图表示训练的epoch和源域-目标域相同类别的特征距离之间的关系曲线，可以看到TAN(最原始的特征对齐的方法)随着epoch的增加，不同类别的特征距离不是单调下降的，存在negtive transfer，而本文方法不存在negtive transfer；

2、右图是自适应对抗损失的超参数设置的实验，网络forward时计算的对抗损失越接近0.5越好，得到对应的lambda-local和e的超参数的值；

说明：训练判别器时，判别器的对抗损失是正确分类源域和目标域的loss，而计算G的对抗损失时，是将源域识别成目标域的loss，或者目标域识别成源域的loss，来对生成器G更新；

具体的不同类别的特征分布距离如下图：

 计算CLAN(本文方法的距离时，需要归一化，具体是将特征距离除以预训练模型的特征距离)；

进一步说明本文方法不存在negtive transfer；