论文阅读:ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes

1.提出背景

近年来，人脸属性属性转移虽然有许多方法，但是他们目前存在的主要缺陷有以下三点：(1)无法通过范例生成图像;(2)无法同时传输多个人脸属性;(3)生成的图像质量低，如分辨率低或伪影。

2.提出的方法

elegant：（融合不同优点的多人脸属性转移方法）我们的模型可以通过交换图像编码的某些部分，将相同类型的属性从一幅图像传输到另一幅图像。所有的属性在隐空间中以一种解纠缠的方式进行编码，使我们能够同时操作多个属性。此外，我们的模型对残差图像进行了学习，便于对高分辨率图像进行训练。在多尺度鉴别器的帮助下进行对抗训练，甚至可以生成细节更细、伪影更少的高质量图像。
在线性特征空间的假设下，可以用更加简单的方式来转换人脸属性:在特征空间中向原始图像添加一个属性向量，然后从计算得到的特征反求出图像空间中的解。

图中各个符号的表示含义：ZA、ZB----编码器获取的图像A和B的潜在编码（ZA,ZC只在第i个位置上有所不同）
ZC、ZD-----一旦得到zA和zB，我们交换它们潜在编码的第i部分，从而得到新的编码zC和zD。
RA、RB、RC、RD为残差图像，A’、B’为重构图像，C、D为新属性图像，[zC、zA]为编码zC和zA的直接拼接。

（1）一些细节
a.ELEGANT模型接收两组训练图像作为输入:一个正集和一个负集。来自正集的图像A有这个属性（eg：smile），而来自负集的图像B没有。正集和负集不需要成对，因此不需要来自同一个人，并且在测试阶段不需要为输入图像添加标签。
b.迭代训练:每次训练一个属性，直至遍历完所有属性，另外需要让迭代器知道每次处理的是什么属性；
c.编码器和解码器共同充当生成器，我们还需要对抗训练的鉴别器。然而，当输入图像尺寸变大时，单个鉴别器的接收域受到限制。为了解决这个问题，我们采用了多尺度鉴别器:两个具有相同网络结构但在不同图像尺度下工作的鉴别器。我们使用两个鉴别器：D1引导编码器和解码器产生更加精细地细节，D2从大范围上引导从而避免产生鬼脸。
d.损失函数：
有两个部分:
（1）多尺度鉴别器的标准对抗损失：

当最小化LD时，我们实际上是在最大化真实图像的分数，同时最小化虚假图像的分数。这促使D1和D2区分假图像和真实图像。
（2）生成器的损失：
是下面两个部分之和：
i）.重构损失：

ii).标准对抗损失：

**NOTES:**应该尽量避免食用BN，因为每次输入图片的方差和均值都很大，很难进行归一化处理。因此考虑使用2-normalization，这样可以稳定的收敛并且交换面部属性。
只是转移人脸的局部属性，因此可以大大减轻训练的复杂度。

3.评价方法

1.定性
人眼观察属性转移的好坏；


结论：StarGAN可以通过训练转移多个属性，但当只转移某一属性时，可能会改变其他属性，比如在（a）图中李飞飞加上刘海变年轻了，elegant专注于我们正在处理的的属性，便不会出出现这种情况；elegant可以学习到不同发型之间的细微差别，而其他方法只能学习到单一的发型；

*解释：*对于每一幅图片，左上角、左下角和右上角的图像都是原始图像、第一和第二属性的参考图像。原始图像在两个方向上逐渐拥有参考图像的两个不同属性。

2.定量
FID:FID距离计算真实样本，生成样本在特征空间之间的距离,较低的FID意味着较高图片的质量和多样性.FID对噪声更加鲁棒。

4.总结

我们建立了一种新的人脸属性传递模型ELEGANT。该模型将不同的属性编码为分离的部分，通过交换部分潜在编码生成具有新属性的图像。在观察到只需要对图像的局部部分进行修改来转移人脸属性的情况下，我们采用残差学习来方便在高分辨率图像上进行训练。u网结构设计和多尺度鉴别器进一步提高了图像质量。在CelebA人脸数据库上的实验结果表明，该方法是成功的。