STGAN：人脸高精度属性编辑模型

原论文链接: STGAN：A Unified SelectiveTransferNetwork for Arbitrary Image Attribute Editing

人脸属性编辑是指生成所需要属性的新面部。任意的属性编辑主要是编码器和解码器以及GAN的组合。然而却会出现模糊或者是质量较低的情况。增加skip-connection可以提高图像的质量但是以牺牲属性操作的能力。考虑到属性编辑工作主要是改变属性而不是所有目标的属性，文章中选择目标和源之间的差异作为输入。更进一步，带有选择性传输单元（STU）的编码器和解码器可以自适应的选择和修改编码器的特征。
图像属性编辑，旨在操作图像去处理需要的属性，比较麻烦的是同时收集存在特征与不存在特征的图像，因此GAN得到了广泛的关注。另一方面，任意属性编辑事实上是多领域的图像编辑问题。为了正确的操作属性，下采样需要获得高层次的图像属性。很多学者建议在编码器和解码器之间增加一个或者多个的skip connection。skip connection(跳跃连接)，可以解决梯度爆炸和梯度消失的问题。然而，skip connection提高了图像的质量但是对于属性操作来说却是不好的。
大多数的方法都是同时探索源图像和目标图像，编码器只是将目标属性作为输入，然后解码器同时将latent code和目标属性进行编辑。StarGAN是直接将原图像和目标图像的属性向量作为输入。这种属性编辑存在着很多的问题，即使所有的属性保持不变，但是不想改变的属性可能会被编辑。
为了得到skip connection的影响和限制，文章用以下四个变体进行了实验，首先是不带skip connection的AttGAN，带有一个skip connection的attGAN（原来的AttGAN），其次是带有两个skip connection的attGAN，最后是对称的skip connection的attGAN。实验结果表明增加skip connection确实是有益的，但是却以牺牲属性操作为代价，主要是skip connection直接将encoder和decoder联系起来。

将差分作为输入

StarGAN和AttGAN都是将目标属性和源图像属性作为生成器的输入，事实上，全部目标属性向量可能对于编辑结果来说是有害的。例如，当目标属性和源属性相同时，StarGAN和AttGAN可能会改变不需要改变的属性，会将黄色的头发变得更黄。对于任意的图像属性编辑，不是所有的目标属性向量，为了保留源图像的更多信息，只考虑要改变的属性。

将差分属性作为输入有很多的好处，首先，属性只是需要进行小小的改变比较容易进行训练，其次，与att_t相比，可以提供更多有价值的信息。最后，差分属性更方便提供给用户，当目标属性作为输入时，用户需要提供所有的目标属性。

Selective Transfer Units

不是将编码器和解码器直接用skip connection连接起来，文章中提出一个STU，修改了GRU去建设STU将信息从内层传到外层。