Image-to-Image Translation with Conditional Adversarial Networks

CVPR2017的一篇文章

 

Motivation

尝试用Conditional Adversarial Networks来做image-to-image translation，让网络自己学习图片到图片的map函数，而不需要人工定制特征。

 

Introduction

作者从不同种类的语言翻译类比，提出了Image translation的概念，并希望在给定足够的训练数据以后，训练后的网络能像完成自动语言翻译的任务一样自动地完成图片的转换任务。这里使用的是pair-image。

 

 GAN损失函数：（作者在这讨论了是否要使用observe image x的问题）

之前的研究发现将GAN的传统loss和惩罚项loss结合是有益的，所以这里使用了L1损失函数，用于约束最终生成图片和原图的偏差不至太大

 

总损失函数：

 

Network architectures 

Generator with skips

生成器G采用了U-net结构来做一些layer的skip，保留必要的信息不被变更。

Markovian discriminator (PatchGAN)

判别器D使用了PatchGAN的判定方式，在图像的每个 N * N 的块上去判断是否为真，最终输出平均结果

Optimization and inference

1G/1D的方式训练

 

 

源码 https://github.com/phillipi/pix2pix