【论文解读】GAN-Based Facial Attractiveness Enhancement（面部美容）

1. 介绍

论文地址：https://arxiv.org/pdf/2006.02766

代码：https://github.com/zoezhou1999/BeautifyBasedOnGAN

针对问题：数字化面部美容技术，主要针对现有技术难以保证高质量和身份正确的问题，主要是针对BeholderGAN的改进。

主要贡献：

（1）利用StyleGAN的高分辨率和高质量图像生成方法，通过解释GANs的潜在空间来生成高质量的美化图像;

（2）在此基础上解决了Beholder-GAN的缺点，并从合成图像逼真度、合成图像质量、生成图像的身份保持度和成功美化的可能性四个方面与Beholder-GAN和改进的Beholder-GAN进行了比较。

背景介绍：

（1）结合了InterFaceGAN和StyleGAN对BeholderGAN对BeholderGAN进行改进；

（2）BeholderGAN：它是从低分辨率到高分辨率图像的学习和条件GANs（CGANs）在某些属性（如类标签、特征向量）的条件下生成图像。BeholderGAN使用PGGAN的一个变体，能够根据美貌分数生成逼真的面部图像；

（3）Image2LatentVector：对生成的图像进行身份保持的一个关键部分是找到一个与原始图像相似的潜在向量。1）训练一个能将图像映射到某个潜在向量的编码器，2） 初始化潜在向量并使用梯度下降法对其进行优化；

（4）Image Attributes Editing：研究传统的GANs潜在空间，并在图像语义信息和输入潜在向量之间搜索一些内部模式。

2. 方法

为了使GAN从输入的原始图像中生成不同的美容等级图像或一幅美化图像，主要任务有两个：

1）将输入的原始图像恢复/映射到相应的潜在向量，生成与原始图像相似的图像；

2） 控制输入GAN与生成图像的美有关，实现美化。

（1）InterFaceGAN

        文章主要用到了InterFaceGAN的图像属性分离和编辑方法，z是输入的一组噪声，I是生成的图像，S是经图像分离出来的属性，对于任何二元语义，在潜在空间中存在一个超平面作为分离边界。当潜在向量在超平面的同一个范围内变化时，语义保持不变，当跨越边界时（a<0），语义发生转换。

（2）StyleGAN and InterFaceGAN Based Beautification

        鉴于StyleGAN的最先进性能，将StyleGAN与InterFaceGAN结合起来成功地评估了其框架假设的正确性，即对于任意训练有素的传统GAN，其潜在空间中存在可以分离任何二元属性的超平面。文章遵循了潜空间的单属性操作，发现在潜空间W+（带截断技巧的W潜空间）中，美感得分作为一个连续值可以像二元属性一样被分离。对于任何二元语义（如美与丑），在潜在空间中存在一个超平面作为分离边界。当潜在向量在超平面的同一个范围内变化时，语义保持不变，当跨越边界时，语义发生转换。

        网络首先需要生成一组潜在空间向量，然后通过StyleGAN进行图像生成训练，目的是生成不同美感程度的潜在空间向量，然后利用这些潜在向量，训练用于InterFaceGAN的美感二元SVM超平面，基于该超平面，当潜在向量在超平面的同一个范围内变化时，语义保持不变，当跨越边界时，语义发生转换，就生成了不同美感程度的人脸图像。

        这是文章用到的一些LOSS函数，（2）是平均像素间的余弦距离，（3）是提取潜在向量间的差距，（4）是结构相似度，（5）是感性loss，是网络各层通道归一化、空间取均值计算出来的平均距离，（6）是潜在向量的质心，（7）是判别器，同时判别图像真假和美感程度，（8）是梯度下降函数。

（3）Enhanced Version of Beholder-GAN

        文章对Beholder-GAN也进行了一些改进，具体是增加了身份识别的loss。

3. 实验