基于gan的子域名生成_论文笔记｜CVPR 2018｜低分辨率人脸识别 GAN

论文笔记 | CVPR 2018 | 低分辨率人脸识别：Finding Tiny Faces in the Wild with Generative Adversarial Network

文章来源：CVPR 2018

下载地址：https://ivul.kaust.edu.sa/Pages/pub-tiny-faces.aspx

该文章主要解决的问题是：无约束条件下的低分辨率的人脸检测。

其主要面临的挑战是：

(1) 低分辨率的人脸缺乏详细的细节信息，以及图像模糊等问题。

(2) 目前CNN模型卷积核步长太长，对于低分辨率人脸识别容易丢失大部分信息。

摘要

人脸检测技术已经发展了几十年，但是对于无约束以及低分辨率条件下的人脸检测仍是一个悬而未决的挑战。造成该挑战的主要原因是：低分辨率下的人脸往往缺乏详细的信息，并且具有一定的模糊性。基于此问题，本文提出一种利用生成对抗网络(generate adversarial network, GAN)直接从模糊的小人脸中生成清晰的高分辨率人脸的算法。同时作者还引入新的训练损失函数来指导生成器网络恢复细节信息，促进鉴别器网络同时辨别real/fake face 和 face/non-face。最后在WIDER FACE数据集上进行训练和测试，实验结果表明本文方法在小人脸检测方面具有一定的高效性。

1 相关研究

1.1 基于手工特征的检测算法

该类方法只训练单个尺度模型，限制了检测器的性能。另外该类方法使用特征金字塔的每一层，因此大大增加了计算成本，尤其是对于复复杂的特征。

1.2 基于CNN的检测算法

该类算法使用8, 16 或32的步长进行下采样，并用其卷积特征来表示人脸，然而这种特征图往往丢失大部分空间信息，导致图像过于粗糙，无法描述小人脸。如16×16的人脸图像，采用步长为2，4次下采样后特征图仅为1×1，因此无法清晰表示人脸特征。

2 本文算法

2.1 本文算法的创新点

(1) 提出一种新的人脸检测的统一端到端卷积神经网络结构，采用超分辨率和细化网络生成真实清晰的高分辨率图像，并引入判别网络对人脸与非人脸进行分类。

(2) 引入新的判别器loss。

2.2 本文算法的核心思想

本文方法主要是针对实际应用而提出的人脸检测算法，由于在无约束的环境下，人脸可能会以模糊、侧脸、低分辨率等方式呈现。针对该问题，作者通过采用生成对抗网络(GAN)直接从模糊的低分辨率人脸中生成清晰的高分辨率人脸，然后进行人脸检测。对于生成的超分辨率图像，可能是非人脸，因此作者在鉴别器网络中加入分类分支来判断生成图像是人脸还是非人脸，从而增强人脸检测算法的鲁棒性。下图为本文算法的网络结构图。

Figure 1. The pipeline of the proposed tiny face detector system.

对于本文的GAN网络，生成器包含两个子网络：超分辨率网络和细化网络；判别器中加入分支网络，用于区分人脸、非人脸和生成图片、真实图片。超分辨率网络(SRN)对小人脸进行小尺度上采样，在较大尺度上减小伪影，提高上采样图像质量。细化网络(network, RN)可以恢复上采样图像中缺失的一些细节，生成清晰的高分辨率图像进行分类。鉴别子网络利用一种新的损失函数，使鉴别器网络同时区分real/fake face 和 face/non-face(即区分是生成器合成的图像还是ground truth图像，以及是人脸还是非人脸)。该算法的损失函数主要包括三部分，分别为：

• Pixel-wise loss：MSE loss，通过像素级的MSE损失来强制生成器的输出接近超分辨率的ground truth值，具体公式如图2所示。

• Adversarial loss：促进生成器生成更逼真的图片，具体公式如图2所示。

• Classification loss：其作用是为了使生成网络重构的图像更易于分类，同时抑制非人脸转变为人脸的过程，(如，将模糊桌子转变成人脸的过程)，具体公式如图2所示 。

图2 本文算法所用的损失函数

图2中Classification loss存在一个问题，文章介绍yn=1表示人脸，而yn=0表示非人脸。那么，当yi=0时，log(yi-Dθ(IiHR))该如何取值，文中未对此进行说明(或许本人理解错误，此文仅供参考)。

最终将上图中三个损失函数相结合，得到最终的objective function，其公式如图3所示：

图3 objective function

图4中给出了本文GAN网络的结构设计表。其中Generator网络使用deep CNN, batch-normalization, ReLU，而Discriminator使用VGG19网络。

Figure 4. Architecture of the generator and discriminator network. “conv” represents a convolutional layer, “x8” denotes a residual block which has 8 convolutional layers, “de-conv” means a fractionally-stride convolutional layer, “2x” denotes up-sampling by a factor of 2, and “fc” indicates a fully connected layer.

2.3 实验结果

本文算法在WIDER FACE和FDDB两个公开的人脸检测数据集上进行训练以及测试。Trade-off weights α = 0.001 and β = 0.01。另外，图1中的MB-FCN detector是17年提出的一种人脸检测算法，知乎上有关于其的详细介绍，本文中仅使用它在数据集中随机截取人脸图片和非人脸图片，用于训练网络的输入。其中，训练使用的low-resolution images通过下采样生成，high-resolution images使用双三次插值生成。

实验结果如下图所示。

Figure 5. Qualitative detection results of our proposed method. Green bounding boxes are ground truth annotations and red bounding boxes are the results from our method. Best seen on the computer, in color and zoomed in.

文中还对各个损失函数的性能进行了验证，即Ablation Studies， 其性能对比结果如下图。

Figure 6. Performance of the baseline model trained with and without GAN, refinement network, adversarial loss and classification loss on the WIDER FACE invalidation set.

本文方法与state-of-the-art方法对比的实验结果如下图。

Figure 7. On the WIDER FACE validation set, we compare our method with several state-of-the-art methods: MSCNN[31], MTTCNN[33], CMS-RCNN[37], HR[10], SSH[19], SFD[35]. The average precision (AP) is reported in the legend. Best viewed in color.

2.4 本文方法性能提升的原因

(1) 对于低分辨率的人脸，本文方法可以将其变为高分辨率的图像，并对其进行细化，这样使生成的图像含有详细的细节信息，同时也促进了人脸和非人脸的判别。

(2) 本文方法在鉴别器网络中加入了分类分支，这可以抑制低分辨率的非人脸图像向人脸图像转化。GAN网络本来就是用来生成我们所期望输出的图像，这样鉴别器同样可以引导非人脸图像向人脸图像转化(如GAN网格可以将低分辨率模糊的桌子引导生成至清晰人脸)，所以为了阻止该过程的发生，作者引入了Classification loss，当生成初步可判断的非人脸图像时，网络就可以直接阻止生成网络将其合成至人脸图像。

3 总结

总的来说，作者将目前火热的GAN网络融入人脸检测领域，取得了不错的检测效果。对于无约束的低分辨率人脸检测，该方法达到了目前较好的水平。

上述内容仅个人的点滴粗见，如有不当之处，请同行批评指正。欢迎关注公众号~