基于GANs的图像编辑方法

近些年来，生成对抗网络在许多图像生成和图像编辑任务上都获得了很大的成功，并受到越来越多的关注。对于图像编辑任务，现在面临的两个重要的挑战分别是：如何提升生成图像的质量和如何灵活控制生成图像内容。这次分享的两篇文章，分别对如何解决这两个问题做出了相应的探索。在第一篇文章中，在原有的生成对抗网络的框架下，作者提出了一种新的感知对抗机制，试图从更多角度测量并缩小生成图像和理想结果间的差距，从何获得更好的图像转换效果。在另一篇文章中(IJCAI)，作者通过学习输入图像中不同性质的可分解表征，大大提升了基于图像编辑的生成对抗网络的可解释性。通过利用图像标签控制其可分解表示征，该工作可以精确控制输出图像的相关性质。实验表明，上述两项工作均在现有算法的基础上进一步提升了生成效果和模型性能。

《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》

论文地址：https://www.ijcai.org/proceedings/2017/0404.pdf

在本文中提出了一种全新的神经网络框架，标签分解生成对抗网络(Tag Disentangled Generative Adversarial Networks, TDGAN)，用于进行目标图像的再次渲染(Re-rendering)。给定目标图像作为输入，该网络(TDGAN)即可根据指定要求修改图像内容，并生成符合描述的图像。例如，改变输入图像的观察角度，光照条件，人脸表情等等。和以往工作不同，通过利用图像与其标签的对应关系，即标签是图像分解表征(disentangled representations, DR)的具体描述，我们训练分解网络以提取输入图像的分解表征(DR)。同时，在生成对抗网络(GAN)的框架下，给定分解表征(DR)，生成网络被训练以生成相应的图像。最终，通过控制输入图像的分解表征(DR)，我们便可以完成不同的图像再渲染任务。经实验证明，TDGAN能够按照描述生成高质量的目标图像，进一步提升了图像再渲染任务的性能，在两个不同的数据集上，TDGAN的表现均超越了当前最优模型。

《Perceptual Adversarial Networks for Image-to-Image Transformation》

论文地址：https://arxiv.org/abs/1706.09138

在本文中提出了一种用于图像转换任务的原理感知对抗网络（Perceptual Adversarial Network，PAN）。与现有算法不同——现有算法都是针对具体应用的，PAN 提供了一个学习成对图像间映射关系的通用框架（图1），例如将下雨的图像映射到相应的去除雨水后的图像，将勾勒物体边缘的白描映射到相应物体的照片，以及将语义标签映射到场景图像。

本文提出的 PAN 由两个前馈卷积神经网络（CNN）、一个图像转换网络 T 和一个判别网络 D 组成。通过结合生成对抗损失和我们提出的感知对抗损失，我们训练这两个网络交替处理图像转换任务。其中，我们升级了判别网络 D 的隐藏层和输出结果，使其能够持续地自动发现转换后图像与相应的真实图像之间的差异。

同时，我们训练图像转换网络 T，将判别网络 D 发现的差异最小化。经过对抗训练，图像转换网络 T 将不断缩小转换后图像与真实图像之间的差距。我们评估了几项到图像转换任务（比如去除图像中的雨水痕迹、图像修复等）实验。结果表明，我们提出的 PAN 的性能比许多当前最先进的相关方法都要好。