2017 NIPS之GAN+seg：Generative Semantic Manipulation with Contrasting GAN

Generative Semantic Manipulation with Contrasting GAN

当前的问题及概述：
如今的GAN网络在图片风格迁移方面有了很大的突破，但是现有的模型只能传递low-level信息(如颜色或纹理变化)，而不能编辑high-level语义信息(如几何结构或内容)。另一方面，虽然一些研究可以合成具有类标签或说明的引人注目的真实世界图像，但它们不能限定任意的形状或结构，这在很大程度上限制了它们的应用场景和模型结果的可解释性。
本文引入了对比GAN (contrast-GAN)网络，本网络更关注一个语义任务，它的目的是修改一个对象的语义，同时保持其自身的特征(如观点和形状)，实验结果如图1：

此外，为了将图像背景从语义部分中分离出来，我们提出了mask-conditional contrast-GAN结构，通过对对象实例mask的调理来实现对整个图像的语义处理。
模型及loss：
2.1 contrast-GAN
本文提出的contrast-GAN与cycleGAN比较：

图a中用循环一致性损失对图像进行二次风格迁移生成，使得二次生成结果尽可能与输入相同，保证第一次生成结果尽可能在保证风格转换正确的同时图像轮廓信息和语义信息和输入图像相同。图b是本文提出的contrast-G