pix2pixHD算法笔记

论文：High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
论文链接：https://arxiv.org/abs/1711.11585
代码链接：https://github.com/NVIDIA/pix2pixHD

图像到图像的翻译是GAN的一个重要应用，表示基于输入图像生成指定的输出图像的过程，比如有监督的pix2pix(参考博客)，无监督的CycleGAN(参考博客)等。而基于语义分割图生成对应图像可以看做是图像到图像的翻译中的一个特例，如Figure1(a)所示，其中左下角是语义分割图，模型基于这张图生成(a)这张看起来和实际图像差别不大的合成图。这个研究方向主要有2个发展趋势：1、生成的图像要尽可能接近真实图像；2、生成图像的分辨率越来越大，也就是越来越往高清大图发展。

这篇发表在CVPR2018的pix2pixHD在这两个方面都有不错的贡献。pix2pixHD是在pix2pix算法基础上做了优化，pix2pix算法合成图像的分辨率在256 $\times$ 256左右，作者曾经尝试直接用pix2pix算法生成高分辨率图像，但是发现训练过程不稳定，效果也不好，因此才不断优化得到pix2pixHD。pix2pixHD的训练依然是有监督的，也就是需要pair对的数据。

这篇论文除了能生成高清大图外，还有基于算法扩展实现的交互式体验。
1、实例级别的修改。用户可以将修改后的语义分割图输入模型得到合成图像。比如我可以基于一张实际拍摄的图像先得到其语义分割图，然