语义分割：Learning to Adapt Structured Output Space for Semantic Segmentation论文解读

Learning to Adapt Structured Output Space for Semantic Segmentation
基于学习的语义分割输出空间结构的自适应--CVPR18--spotlight（ranked 3rd in the VisDA Challenge--Domain Adaptation ICCV2017 Workshop Challenge）
（NEC Laboratories America 2University of California, Merced）
代码地址：https://github.com/wasidennis/AdaptSegNet

背景：现有的分割自适应中的很大一部分采用特征自适应的方法，该方法在分类自适应中得到广泛应用并得到很好的效果，但是在像素级别的理解任务中，会变得难以学习，如分割自适应任务中，由于视觉上的差异，如光照、场景布局、不同的天气，城市、一天的不同时间采集的图像，这些图像在特征层上的差异明显，通过特征自适应的对抗学习的方式不太好，因为对抗判别网络很容易判别特征的来源域，难以训练，而分类不在乎什么特征的平移不变性；
现有解决方案：通过减少能够衡量领域差异的相关性距离或者MMD学习领域不变的特性；1、样本自适应；2、特征自适应；3、模型自适应；深度学习分割自适应的开山之作：（arXiv2016-Fcns in the wild: Pixel-level adversarial and constraint-based adaptation.）；通过减小衡量两个域距离的loss实现自适应，衡量距离的MMD，或者特征分布的统计属性，均值，方差等，但是如果特征分布不是高斯的，仅仅通过这些统计属性是无法对齐的；
本文算法的创新点：1、在分割的输出空间上对抗学习，因为例如不同天气，城市采集的图片会在光照等差异明显，但是输出的label不会受到光照等的影响，更容易学习自适应；2、融合multi-level的特征自适应，因为时间和空间效率，文章对Conv4和5层采用自适应；
结果：在GTA5（源域，电脑游戏的逼真街景）---cityscapes（目标域，真实街景），SYNTHIA-RAND-CITYSCAPES---cityscapes，有提升，但是效果没有第2、3文章好；Cross-city的实验（ICCV17-No more discrimination: Cross city
adaptation of road scene segmenters. ）；
评价指标：mIOU

keypoints：1、分割选择Deeplabv2-resnet101，特征图原来的1/8，接上两个空洞卷积层后，再接上ASPP，上采样后分割输出；2、判别器借鉴DCGAN的，去掉BN，因为batch_size不高；
Advantages：
1、对抗损失和分割损失的比例做了实验，特征自适应对该比例比较敏感，输出自适应还好，因为特征图比较好区分；
2、该方法对小物体效果不好；
3、当源域和目标域的label差距不大时，对抗损失的比例需要适当减小，减轻训练难度；
4、backbone比较深的模型，如resnet101比VGG16要好；
5、文章做了在目标域有标注，正常训训Deeplabv2-resnet101的结果，可以计算自适应的方法和全监督的结果（精度的上边界）的gap，其中GTA5 to Cityscapes的19个类别，resnet101和vgg16结果分别是65.1/60.3;SYNTHIA to
Cityscapes的13个类别，分别是71.1/59.5；
6、因为仅仅输出空间的自适应在反传时对low-level的监督意义减少，因为才有了Multi-level的特征自适应，相当于对分割网络的low-level的卷积层起到监督训练的作用；
用处：领域自适应的语义分割；
未来工作：1、给像素级别的视觉自适应任务起到指示作用；
Addition：现有的DA方法还有结合特征表示和类别受限的CNN方法ICCV15的Constrained convolutional neural networks for weakly supervised segmentation、基于类别class-wise的对抗学习和label transfer的方法ICCV17-No more discrimination: Cross city adaptation of road scene segmenters