这是一篇2016年CVPR上的论文,是将域适应(DA)用在语义分割上的第一篇论文。这篇文章的3个主要贡献:1、提出第一个无监督的域适应方法(基于对抗学习),用于跨图像领域的语义分割。2、考虑了全局适应,和特定类别的适应。3、最后一个贡献(略)是引入了一个新的驾驶摄像机数据集,用于语义分割,不过这个数据集好像后续不是很多人在用。作者表明提出的适应算法在没有任何目标注释的情况下提高了目标语义分割的性能。
一、引用
Hoffman J, Wang D, Yu F, et al. Fcns in the wild: Pixel-level adversarial and constraint-based adaptation[J]. arXiv preprint arXiv:1612.02649, 2016.
语义分割的像素级别的标注非常耗时费力价格昂贵,所以希望能够有这样的场景:通过在一些低成本的合成场景(类似于GTA5游戏中的街道场景)所训练好的一个分割模型,可以直接用于真实的城市道路的图像的分割,这样就不用再花力气去标注那些真实的城市道路场景(常常用于自动驾驶的数据集)。
如下图,源域(GTA5游戏里的模拟场景):有图像,有ground truth,可以进行全监督的训练。
目标域(真实的城市街道场景):有图像,假定为没有标签。如果直接把在源域上面训练好的分割模型拿来用,那么会发现分割效果并不是很好,因为两个域之间存在一定差别,这是域间的鸿沟。所以提出通过域适应的方法,来使得目标域能够