MSFSR: 一种通过增强人脸边界精确表示人脸的多级人脸超分辨率算法

MSFSR：一种通过增强人脸边界精确表示人脸的多级人脸超分辨率算法

1、引言

主要思想
大多数人脸超分辨率（FSR）方法都将特定的人脸先验作为指导，以将给定的低分辨率（LR）超级解析为高分辨率（HR）图像。为了提高FSR性能，在过去的几十年中，人们探索了各种面部表示。然而，在估计LR图像的高质量面部表示方面仍然存在挑战。为了解决此问题，我们提出了新颖的面部表示法——增强了面部边界。通过语义连接人脸标志点，增强的人脸边界保留了丰富的语义信息，对不同的空间分辨率尺度具有较强的鲁棒性。基于增强的面部边界，我们设计了一种新颖的多阶段FSR（MS-FSR）方法，该方法应用了多阶段策略来逐步恢复高质量的人脸图像。增强的面部边界和从粗到精的监督有助于生成高质量面部表示的面部边界估计过程。 FSR任务的一次性投影分解为多个更简单的子过程。通过这些方法，MSFSR可以估计出更多的面部表情并获得更好的性能。实验结果表明，我们的方法在定性和定量测量方面均优于最新方法。
本文贡献
1、我们提出将增强的面部边界作为FSR任务中的一种新的面部结构表示。增强的脸部边界是根据脸部界标点的语义含义形成的。连接边界的连续性附加了更丰富的语义信息，并且对于具有较大姿势和变化的面部保持鲁棒性。
2、针对FSR的任务，我们设计了三个基本模块：BPM，BEM和BFM。 BPM通过后期升级设计摆脱了预定义的升级操作，从而提高了网络效率。 BEM估计器在统一框架中直接从面部图像增强了面部边界，而BFM则将通道关注的重点放在融合面部边界和特征图上，从而充分探索了不同潜在空间之间的关系。
3、我们介绍了MSFSR网络，以提高重建图像的质量。我们将增强的面部边界与三个基本模块集成到一个多阶段的网络设计中，并提出了从粗到细的监督，以数字方式约束不同阶段的面部边界的精细度。所提出的网络不仅可以估计准确的面部表情，而且可以有效地提高重建图像的保真度。我们的方法在量化和定性结果上均达到了最先进的性能。

背景：在估计LR图像的高质量面部表示方面仍然存在挑战。
方法：提出了新颖的面部表示法——增强了面部边界。应用了多阶段策略来逐步恢复高质量的人脸图像。增强的面部边界和从粗到精的监督有助于生成高质量面部表示的面部边界估计过程
结论：实验结果表明，我们的方法在定性和定量测量方面均优于最新方法。

2、网络结构

提出的MSFSR的主要改进有三个方面。首先，在仔细考虑现有FSR方法不足的基础上，提出并应用了增强的人脸边界。随着增强过程的进行，增强后的面部边界更能有效地表示面部结构。其次，针对FSR设计了三个柔性模块，并对其进行了优化。最后，在MSFSR的端到端框架中引入了由粗到精的监管方式和快捷连接方式。
MSFSR模型的流水线如图所示。该网络包括三个独立的模块：基本预处理模块(BPM)、边界估计模块(BEM)和边界融合模块(BFM)。此外，我们引入剩余通道注意块如图2。

图1 建议的MSFSR模型。“BPM”负责放大LR输入的空间分辨率。“BEM”从先前的输出中提取增强的面部边界，而“BFM”将来自“BPM”的输出与增强的面部边界组合在一起，以生成超分辨率图像。绿线表示不同阶段之间的快捷连接。橙色箭头表示加强了对面部边界的监督。

图2 RCAB的设计。要素地图通道上的权重由卷积图层计算。它们会自动调整权重。

基本预处理模块(BPM)。BPM的结构如图3所示，其作用是提高LR输入的空间分辨率。在BPM设计中，我们使用RCAB优化ESPCN。最后的像素混洗层可以轻松地对设计进行一些更改，以应对不同的因素。此外，BPM使我们的网络能够在端到端的培训和测试中取得成功。
边界估计模块（BEM）。我们使用堆叠的沙漏结构H直接从第一模块I_BPM的输出中预测预定义的K面部边界。预测的K面部边界以热图β_i的堆栈形式呈现。
边界融合模块（BFM）。最后，BFM采用其两分支设计引入了β_i和I_BPM，并根据这些线索使人脸图像产生超分结果。

图3 BPM，BEM和BFM的结构

在本文中还设计了从粗到细的监督，以限制在不同分辨率范围内增强的面部边界的精细度。

图4 由于多阶段FSR网络设计，面部图像的空间分辨率逐步提高。在早期阶段，沙漏的下采样过程将图像尺寸减小到极低的分辨率，从而导致难以估计出精确增强的面部边界。该图演示了从粗到细监管的示例。

3、实验结果

不同的SR方法在8倍放大倍数上的视觉结果。 （a）Ground Truth（b）双三次（c）EDSR（d）URDGN（e）PFSR（f）FSRNet（g）Ours（h）OursGAN。

使用CelebA-HQ，Helen和WFLW数据集以8倍SR对最先进的面部SR方法进行定性和定量比较。