论文阅读——《Image-to-Image Translation with Conditional Adversarial Networks》

论文阅读之 Image-to-Image Translation with Conditional Adversarial Networks

Introduction

这篇论文主要讲了如何将conditional GANs运用到Image-to-Image任务中，并且讲了如何设计网络来取得很好的效果。

这篇文章的main contributions主要有两点：

• 对于各种不同的问题（论文指的应该是Image-to-Image任务）conditional GANs都能给出比较好的结果；
• 论文提出了一种简单的网络框架能够得到比较好的结果，同时论文中分析了几种结构的影响。

Related work

Structured losses for image modeling
Image-to-Image转换问题常常被当作是逐像素的分类或者是回归问题，而这些构想的输出往往没有将结构考虑在内，输出的像素被当做是与输入图片的其他像素条件无关的。但是GAN却能学习到结构损失（structures loss）。
Conditional GANs
作者在这篇论文中使用了Conditional GANs，但是在结构上与之前的工作不同。在生成器中作者使用了“U-Net”-based的结构，在判别器中使用了convolutional “PatchGAN”分类器，这种分类器只是惩罚images patches范围内的结构损失。

Method

Objective：

conditional GAN的优化目标可以用以下式子表达：
$${\mathcal{L}}_{cGAN}(G,D)={\mathbb{E}}_{x,y}[\log (D(x,y))]+$$