Unpaired Portrait Drawing Generation via Asymmetric Cycle Mapping论文阅读1

这篇论文介绍了如何使用非对称的循环映射方法、非配对数据生成肖像画。

首先介绍什么是非配对的数据，一般的生成对抗网络需要的数据是成对的，比如我们要训练一个对抗网络能够根据我们提供的一张人脸的照片去生成人脸的素描，那么就需要非常多的人脸照片以及对应的人脸素描的数据，这些数据是严格对应的，需要甲这个人同一张人脸照片以及对应的人脸素描，非配对的数据是指，我们还是需要人俩照片和人脸的素描，但是二者之间并不需要一一的对应关系，我们可以用甲的人脸照片，以及乙的人脸素描去做训练，这样就大大降低了数据集获取的难度了。
然后我们介绍什么是非对称的循环映射,为什么作者要提出这样的非对称的结构呢？因为我们使用了非配对的数据，在数据获取上面有了很大的方便性，也带来其他的一些问题，原先用cycle structure(循环结构)的训练方法才能使用非配对的数据，但是由于人脸照片和人脸肖像画之间严重的信息域之间的不平衡,导致了很多不可见的重建信息会被不加选择地嵌入到生成的整幅画中，导致生成的画作的质量下降，比如会丢失到一些重要的脸部的特征。所以作者提出了一种非对称的循环结构的Gan（asymmetric cycle-structure Gan）,使用了截断损失（truncation loss）让重建的信息从不可见变成了可见，并且通过一个松弛的前向一致性损失（relaxed forward cycle-consistency loss）让这些信息只能嵌入到特定的脸部区域中，此外，作者还通过一些局部的判别器（眼睛、鼻子、嘴巴）使得肖像画生成这些重要部位的能力得到优化，并且用风格分类和风格向量的方法，人脸照片能生成不同风格的人脸肖像画。
作者在Introduction最后里面总结到，这篇论文的三个贡献，也就是上面提及到的：
1.使用了非对称的循环结构去防止重建信息不加选择地嵌入整个画中，避免了画作质量下降。
2.局部的判别器加强并保证了脸的某些特征的质量。
3.用户使用一份简单的风格代码，可生成不同的特征风格的肖像画。