FACE HALLUCINATION BASED ON KEY PARTS ENHANCEMENT

题目：基于关键部位增强的人脸幻觉

1、引言

脸部幻觉的目的是从低分辨率的脸部生成高分辨率的脸部。一般的超分辨率方法不能很好地解决这个问题，因为人脸具有很强的结构性。随着深度学习技术的迅速发展，出现了一些用于人脸幻觉的卷积神经网络(CNNs)模型，并取得了很好的效果。本文提出了一种基于人脸五个关键部位的五分支网络。每个分支的目的是产生一个高分辨率的关键部件，最终的高分辨率人脸是五个分支输出的组合。此外，我们还设计了一个增强单元(GEU)，并将其级联以形成我们的网络结构。实验结果表明，该方法能够生成令人满意的高分辨率人脸。
主要贡献可以概括为：1)提出了基于人脸五个关键部位，即眼睛、鼻子、眉毛、嘴巴和其余部位的五分支神经网络模型。每个子网负责生成一个HR关键部件。2)针对每个子网设计了一个门控增强单元(GEU)，并将其级联，形成我们的网络结构。选通块设计的主要思想是将选通块的输入和输出与可训练的权值连接起来。

背景：一般的超分辨率方法不能很好地解决人脸超分问题；
方法：提出了一种基于人脸五个关键部位的五分支网络，最终的高分辨率人脸是五个分支输出的组合；
结论：该方法能够生成令人满意的高分辨率人脸。

2、网络结构

提出的方法如图1所示，对于输入的LR图像，我们通过我们的新方法生成HR图像。首先，我们将输入的LR图像发送到所提出的五分支网络。每个分支负责生成特定的人脸关键部分。这五个关键部位是：眼部、鼻部、嘴部、眉部和其余部位。然后，每个分支输出HR关键部分及其掩码。基于生成的模板，我们的模型结合了各个分支的输出，并输出HR人脸图像。该模型将人脸图像分成五个关键部分，分别学习每个关键部分的LR和HR之间的映射关系。从理论上讲，直接学习LR人脸和HR人脸之间的映射比单纯训练一个CNN要好得多。此外，与基于区域的增强方法不同，我们的方法能够正确地找到五个关键部分。因此，预测的HR人脸图像要好于现有的方法。

图1 提出的网络架构。我们的网络有五个分支，分别是眼睛分支、鼻子分支、嘴巴分支、眉毛分支和剩下的部分分支。各分支机构输出对应的高分辨率关键部件。为了便于训练，每个分支学习一幅残差图像。因此，每个分支的输出是双三次插值图像和残差图像的组合。

GEU，我们将GEUs级联以形成我们的深层CNN模型。

3、实验结果

在LFW数据集的图像上测试了我们提出的模型。

测试数据集上×4的可视化结果