[ICCV 17]Semi Supervised Semantic Segmentation Using Generative Adversarial Network
Nasim Souly, Concetto Spampinato and Mubarak Shah
from University of Central Florida and University of Catania
Motivation
第一篇将GAN应用在分割中的文章来自于[1]。在此之后出现的GAN+语义分割的文章也基本遵从[1]中的思路,即在传统语义分割训练框架中加一个adversarial loss,将分割网络视作生成器。这篇文章则是从另一个角度考虑问题,即将分割网络视作判别器,使用GAN的生成器扩展训练数据,从而提升训练效果。
从另一个角度来看问题,这篇文章的另一贡献在于对GAN本身的改造,即将判别器变成了FCN,以应用在分割问题中。
Method
文章的具体方法其实很简单,主要包含两点:判别器分类类别的定义,以及全卷积化的判别器。
假设分割类别数为K,那么判别器则有K+1个类别的输出。多出来的分类类别为”该像素为假像素”。训练时,使用标记的分割图像训练前K个通道,使用(真实图片,生成图片)图片组按照adversaria