Unpaired Portrait Drawing Generation via Asymmetric Cycle Mapping论文阅读3

3.1overview
概述了这篇文章里面的总体方法。
本文模型包含了两个生成器，生成器G把脸部的照片转化成为肖像画，生活器F再把生成的肖像画转化成为生成的照片（假照片），包含了两个判别器，一个是$D_d$，判别真的肖像画以及生成的肖像画，一个是$D_p$,判别真的照片以及生成的照片。
在APDrawing域的信息比起脸部图片的信息少了很多，比如一个人的脸颊，在照片中是有很多的颜色的变化的，但是在肖像画里面就是白色。请注意作者后面的描述，他说在cyclegan中使用strict cycle-consistency loss（严格的循环一致性损失）会使得在生成肖像画的时候，嵌入了很小变化的不可见的信息，这些信息人的眼睛是观察不到的，但是会对网络计算中产生影响，比如人眼睛中的一些颜色的变化，我们是观察不出来的，但是在网络计算的时候会有不同，更为严重的是，这部分很小变化的信息在加入到生成图片中的时候，会造成某些重要特征的丢失，比如下图中这个人的鼻子，中间生成的图片是没有鼻子的，但是在下面的nonlinear mapping 中可以看到鼻子的不可见的信息（invisible reconstruction information），正是因为这部分信息的嵌入才导致了生成的图片没有鼻子。

嵌入信息就是一把双刃剑，一方面，嵌入信息在cycle -consistency loss以及GAN loss之间建立起了平衡，让生成的画和真正的画之间的差距变小，但是另一个方面，如果不加选择的嵌入一些不可见的重建信息，会使得一些重要的脸部特征丢失。

作者提出了一种解决的方法，也就是文章题目说的非对称的含义，即asymmetric ,以往的对称的方法是输入图片----生活了肖像画----生成图片，输入的图片和生成的图片遵循一种严格的相似性，现在我们比较感兴趣的是中间生成的肖像画够不够逼真，对于输入的图片P 和生成的图片F（G($p$)）的相似度的要求从严格变成了松弛，即衡量标准从strict cycle-consistency loss变成了relaxed cycle-consistency loss,只关注两者之间的边缘信息的相似性，通过这样的改变，能使的目标函数的优化有足够的灵活性会恢复所有重要的面部特征，其中截断损失（trunction loss）在选定的边缘信息（relaxed cycle-consistency loss）让嵌入的信息变得可见,一些其他的判别器（眼睛，鼻子，嘴巴部分）的加入，使得我们生成的这些画的更加逼真。
本文的模型可以生成多种风格图片，首先采集了许多图片里面有一些是包含了特定的作者和某种风格的，而有一些就没有，我们把一些有代表性风格的图片选择出来并且用于训练一个特定的分类器，分类器学习到的特征表示会被抽取出来用做风格特征加入到生成器中，去生成某种风格的肖像画。
文中的两个判别器的训练目的是提高区别真实数据和生成数据的概率，而两个生成器的训练目的是降低判别器区别真实数据和生成数据的概率，这就是生成对抗的含义。
损失函数包含五个部分：

分别是：
1.判别器判别生成的画是真的还是假的，产生的损失
2.判别器判别生成的照片是真的还是假的，产生的损失
3.relaxed-cycle consistency loss 真实图片和生成图片之间的松弛损失
4.strict cycle-consistency loss真实的画、真实的画生成了照片并用这些照片再生成的画，它们二者之间的损失
5.风格损失：生成不同风格的肖像画损失，用于生成更加良好的风格肖像画。