【论文解读】FA-GANs: 面部吸引力增强、面部美容、几何与外观双分支GAN一致性增强

1. 介绍

论文地址：FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces

针对问题：数字化面部美容技术，主要针对现有技术难以保证高质量和身份正确的问题

（1） 目前为止，还没有一个统一的框架来提高吸引力，包括外观和几何方面；

（2）缺少可用于训练的成对数据；

（3） 人们可能用不同的方式来定义面部吸引力。当被要求解释这个概念时，他们的答案有很大的不同。然而，在某些方面确实存在着一个普遍的标准，即大多数女演员或演员都因其美丽或英俊而得到大多数人的认可。因此，探索普通面孔和有吸引力的面孔之间的关系以使增强任务易于处理是可能的，尽管建立一套明确的、可解释的和公认的规则来定义面孔吸引力可能是困难的；

（4） 本文的目的是在一个统一的深度学习框架下实现人脸吸引力的自动增强，不仅可以改变人脸的外观，而且可以改善其几何结构。

文章贡献：

（1） 提出了一种基于新设计的几何增强一致性模块的人脸吸引力增强算法FA-GANs，该模块可以自动增强人脸的几何和外观特征；

（2） 将预先训练好的吸引力排序模块嵌入到FA-GANs中，通过无监督的对抗学习来学习有吸引力的人脸的特征，而不需要将训练数据组织成成对的人脸；

（3） FA-GANs由两个分支组成，每个分支都能够独立地调整任一面部外观或几何特征。 是第一篇用外观和几何特征来增强面部吸引力的文章。

2. 方法

网络框架：

        原始GANs由一个发生器G和一个鉴别器D组成。G和D通过对抗过程交替迭代地训练：

        每个分支基本上都是 GAN 的架构。为了在几何和外观方面增强人脸吸引力，几何分支被训练来学习从 X 到 Y 的几何到几何转换。外观分支在几何转换 φgeo 的帮助下进行训练，以学习外观和几何方面的调整。面部标志用于表示几何结构。我们将 LX 和 LY 分别表示为不吸引人的和吸引人的面孔的几何结构域。几何分支学习映射φgeo：LX→LY，将不吸引人的面lx∈LX的几何结构转换为吸引人的ly∈LY。外观分支学习将实例 x 转换为中间实例 y ∈ Y ，其中 y 是与 x 具有相同几何结构的外观调整面，Y 是具有 X 几何结构和 Y 外观纹理的中间域。学习到的外观分支的映射定义为 φapp: X → Y 。

        将这两个分支结合起来，在两个方面增强人脸的吸引力，进一步最小化代价函数，以保证中间人脸y0的几何结构ly0和几何分支生成的几何结构Ggeo（x）之间的一致性：

2.1 几何增强模块

数据获取：人脸关键点检测60-> Delaunay三角剖分为150边组成的三角网格->PCA降维到32

几何增强网络：

训练判别器：用来判别几何网络的输入与输出为真或假（ly我理解其实就是lx）

        特别地，与普通的判别器认为原图为真、生成图为假的判别标准不同，几何网络生成器输入的就是源生成的几何图，再根据原来的判别器设置就没有意义了。因此文章认为生成器生成的和没有吸引力的都为假，只有原来有吸引力的且没有经过生成器的才为真，这就间接创造了成对的样本，方便学习从没有吸引力到有吸引力的映射，因此：

考虑到来自同一类别的样本具有相似的特征映射，引入特征损失，并将生成器的损失定义为：

几何增强一致性：

2.2 外观增强模块

        首先生成器是一个改进的U-net网络，人脸吸引力分类器使用的是预训练的VGG16，距离特征提取器网络如下：

对抗损失：与上面的相似， 不吸引人的面和生成的面都被视为负面，吸引人的面被视为正面。

身份损失：为了确保外观增强的人脸Gapp（x）和原始人脸x被识别为同一个体，引入了身份丢失（大型人脸数据集预训练的FC4096维向量），并定义为：

像素损失：

2.3 几何增强一致性

3. 实验