【论文笔记】Two Birds with One Stone: Iteratively Learn Facial Attributes with GANs

参考文献：* *

Ma D, Liu B, Kang Z, et al. Two Birds with One Stone: Iteratively Learn Facial Attributes with GANs[J]. arXiv preprint arXiv:1711.06078, 2017.

简介

GAN在生成高保真度的变换图方面具有其它方法所没有的优势。在这篇文章里，作者通过集成的损失函数来正则化最小最大过程，从而完成GAN模型的训练。这个集成的损失函数不仅包括像素级loss，而且包括既能提高生成图片质量又能保留身份信息的感知loss。在CeblebA的实验表明，这种方法能够有效地识别多种识别属性信息，同时还能够生成高质量的和多属性可控的人脸图像。

算法介绍

论文的总体流程如上图所示。可以看到，该工作是在ACGAN（Auxiliary Classifier GAN，输入为随机变量 $\textbf{z}$ 和可控类别 $\textbf{c}$ 生成特定类别的图像）的基础上，增加了像素、感知、隐编码等loss函数，对生成器和判别器进一步学习，增强生成图像的保真度。另外，实验也证明了通过这种方法可以得到更加准确的人脸属性分类器。

AC-GAN不多做介绍，细节可参考原论文。加入的集成loss函数为：

$$L_{inte}=\lambda_1 L_{per} + \lambda_2 L_{pix} + \lambda_3 L_{\textbf{z}}$$
我们简单分析下其它几个新提出的Loss函数：
1. $L_{pix} = E[||\textbf{x}_{real} - \textbf{G}(\textbf{C}(\textbf{D}(\textbf{x}_{real})), \textbf{c}')||]$
像素损失函数在GAN网络中较为常见。与以往的工作 source为生成器 $G$ 输出不同，本文中的$L_{pix}$ 的source 是判别器 $\textbf{D}$ 、分类器 $\textbf{C}$ 以及 第二级生成器 $\textbf{G}$ 三者的结合对真实图片的一个响应。这样就对这三者 $\textbf{G}$ 均有了更强的约束。
2. 像素级的loss函数虽然对重建图片很有帮助，但是缺少语义信息层面的表征。因为本文又加入感知损失函数：

$$L_{per} = E[||\textbf{h}^{i}_{rebuild} - \textbf{h}^i||]$$
其中 $\textbf{h}^{i}$ $\textbf{h}^{i}_{rebuild}$ 分别是一、二级判别器第 $i$ 层隐层的输出。这个损失函数的加入是为了增强网络的语义学习能力。
3、加入隐编码损失函数
$L_{\textbf{z}} = [||\textbf{z}'-\textbf{z}||]$ 的目的是使 第一二级的随机噪声尽可能地相似。

通过传统loss函数和以上三个loss函数的约束，同时结合两级生成器、判别器的结构，本文希望能够得出一个性能更好的多类别生成网络。

实验

实验在CelebA人脸数据上进行，与AC-GAN方法进行了在人脸属性识别、各属性人脸图像生成等方法进行了比较。

上图为该方法和AC-GAN对于测试数据40类属性的汉明损失值，这证明了采用该方法得到的分类器具有更强的分类能力。

在增加了不同的损失函数，会对生成的不同属性的人脸的不同如下图所示。可以看出，最终的集成函数取得的感观效果最好。（论文中没有定量的评测，略显遗憾）

与其它GAN方法的对比，可以看出，在改变人脸不同属性的同时，该方法在保留人脸的身份方法做得最好。

总结

综上可以看出，本文通过在AC-GAN的基础上，增加了集成的损失函数，进一步增强了不同属性人脸图像生成的质量，同时保留了人脸的身份信息。另外，该方法中生成的属性分类器性能较其它方法也有提高。

（总的来说，本篇论文的方法较为简单，实验论证稍欠严谨。当然，这也是目前很多GAN论文的通病，缺少理论推导和定量的测试。不过即便这样，也有一些地方，比如网络的结构值得借鉴）