Face Super-resolution Guided by Facial Component Heatmaps

题目：人脸分量热图引导下的人脸超分辨率

1、引言

主要思想
最先进的人脸超分辨率方法利用深度卷积神经网络通过探索局部外观信息来学习低分辨率(LR)面部图案与其对应的高分辨率(HR)面部图案之间的映射。然而，这些方法中的大多数都没有考虑到面部结构，并且由于大量的姿势变化和错位而导致退化。
本文提出了一种利用多任务卷积神经网络(CNN)将人脸的结构信息显式地合并到人脸超分辨率过程中的方法。我们的CNN有两个分支：一个是超分辨率脸部图像，另一个是预测脸部成分热图的显著区域。这些热图促使上采样流生成具有更高质量细节的超分辨率面部。我们的方法不仅利用低层信息(即强度相似性)，还利用中层信息(即人脸结构)来进一步探索LR输入图像中人脸成分的空间约束。因此，我们能够在保持人脸结构的同时，以8倍的大比例放大倍数来超分辨非常小的未对齐的人脸图像(16×16像素)。
本文贡献
1、提出了一种新的多任务框架，以8×8的比例对16×16像素的LR人脸图像进行超分辨率处理，该框架不仅利用了图像强度的相似性，而且在人脸超分辨率上探索了人脸结构的先验。
2、我们不仅对LR人脸进行上采样，而且对框架中的人脸结构进行估计。我们估计的面部成分热图不仅提供了面部成分的空间信息，而且还提供了它们的可见性信息，这是从像素级信息中无法推导出来的。
3、由于我们的网络结构的设计，我们能够从上采样的特征图中估计面部成分热图，这为估计提供了足够的分辨率和细节。此外，由于特征图在热图估计之前对齐，因此我们可以大大减少训练热图估计分支的训练图像的数量。

背景：最新的方法中的大多数都没有考虑到面部结构，并且由于大量的姿势变化和错位而导致退化。
方法：提出了一种利用多任务卷积神经网络(CNN)将人脸的结构信息显式地合并到人脸超分辨率过程中的方法。
结论：大量的实验表明，我们的网络达到了卓越的人脸幻觉效果，并超越了最先进的水平。

2、网络结构

我们的网络主要由两部分组成：多任务上采样网络和判别网络。我们的多任务上采样网络(MTUN)由两个分支组成：一个上采样分支和一个面部成分热图估计分支(HEB)。图1显示了我们提议的网络的整体架构。整个网络都是以端到端的方式进行训练的。

图1 多任务上采样网络的结构（MTUN）由两个分支组成：上采样分支(蓝色块)和面部分量热图估计分支(绿色块)。
上采样分支首先对LR输入图像的特征进行超分辨，然后对齐特征映射。当特征图的分辨率足够大时，将上采样的特征图送入HEB以估计面部成分的位置和可见性。将估计的热图与上采样的特征图连接，以提供用于超分辨率的面部组件的空间位置和可见性信息。
在获得对准的上采样特征图之后，这些特征图被HEB用于估计面部成分热图。我们通过堆叠的沙漏结构来构建我们的HEB，该结构由残差块和上采样层组成。

• 我们建议从超分辨率特征图中预测面部成分热图，而不是定位LR输入图像中的标志点，因为上采样的特征图包含更多细节，并且其分辨率足够大，可以估计面部成分热图。
• 为了估计面部成分热图，我们采用了堆叠的沙漏网络结构，并且使用四个热图分别表示人脸的四个组成部分，即眼睛、鼻子、嘴巴和链条。最后我们还使用中间监督来提高绩效。
• 判别网络如图1的红色块所示，由卷积层和完全连通层构成，被用来确定图像是从真实人脸图像采样还是从幻觉人脸图像采样。

3、损失函数

• 像素损失：由于上采样的HR脸在图像强度方面应该与输入的LR脸相似，我们使用欧几里德距离来加强这种相似性。
• 特征损失：仅使用像素方向的ℓ₂Loss会产生过度平滑的超分辨率结果。为了获得高质量的视觉效果，我们还约束上采样的人脸与HR对应的人脸共享相同的特征。
• 辨别性损失：由于超分辨率本质上是一个不确定的问题，在LR和HR图像之间会有许多可能的映射。即使施加强度和特征相似性，也不能保证上采样网络可以输出逼真的HR人脸图像。我们使用判别网络来强迫幻觉人脸位于同一流形的真实人脸图像上，我们的目标是使判别网络不能区分上采样的人脸和真实的人脸。
• 人脸结构丢失：我们不仅利用了图像像素信息(即像素级和特征级损失)，而且在超分辨率下探索了人脸结构信息。

总体损失函数为：

4、实验结果

与最新方法的比较

与最先进的方法的定性定量的比较结果

消融实验

消融实验结果对比