pix2pix Image-to-Image Translation with Conditional Adversarial Networks笔记及代码实现

1.Introduction

GANs在最近两年得到了广泛的应用，本文研究的技术很多人就已经提到过，尽管如此，之前的论文都是关注特定的应用，而cGANs作为图像转换的问题的通用方法的有效性仍然是不清楚的，我们的主要贡献 在于阐释了cGANs在很多问题上都能产生合理的结果，第二个贡献在于提出来一个简单有效的框架，并分析了几种结构的选择结果

 

2.Related work

2.1图像建模的结构化损失

Image-to-image 的问题通常被表述为逐像素的分类或者回归问题。这些表述将输出空间看作是非结构化的，即：每个输出的像素都被看作是条件独立于其他所有的像素。cGANs相反，学习结构化的损失（Structured  losses），结构化的会对 输出节点的构造进行处罚。大多数文章都考虑这种loss，如条件随机场，SSIM指标，特征匹配，非参数化loss，卷积伪先验，基于匹配协方差统计的损失。cGANs不同于学到的loss，理论上，其实惩罚介于输出和目标之间的任何可能的不同结构。

2.2 条件GAN

前人早就将条件GAN用在如离散标签，文本，和图像等等。图像条件的模型是从一个标准map进行图像预测，未来帧预测，产品照片生成，从稀疏标注中进行图片生成（文献[46]中式用一个自动回归方法来解决这个问题）。其他虽然也有将GAN用在image-to-image上，但是只用无约束GAN，并依赖其他项（如L2回归）来强制输出是约束于输入的。这些文献在如图像修复，未来状态预测，基于用户操作的图像编辑，风格转换和超分辨率。每个方法都只适用具体领域。本文方法希望做到普适&#