极简笔记 Fully Convolutional Adaptation Networks for Semantic Segmentation
文章核心贡献,提出FCAN,探究利用GTA5游戏数据集来训练语义分割网络,并将此网络迁移到真实路况场景下进行测试。
FCAN分为两部分,Appearance Adaptation Networks(ANN)和Representation Adaptation Networks(RAN),总结构见上图。GTA5的图像记为source domain,真实街道场景记作target domain。为了解决从source domain训练transfer到target domain引起的domain shift问题,文章提供了两点思路:1. 让source domain图像和target domain图像更加相近;2. 学习domain invariant特征用于语义分割。这两个步骤分别由ANN和RAN完成。
ANN详细结构如上图,它的本质是一个风格迁移网络,将白噪声输入网络,以迭代的方式,通过让网络浅层的feature correlation和target domain图像集合 Xt