多阶段人脸超分辨率（MSFSR）论文阅读笔记

题目： MSFSR: A Multi-Stage Face Super-Resolution with Accurate FacialRepresentation via Enhanced Facial Boundaries

中文：MSFSR：多阶段面部超级分辨率，通过增强的面部边界实现精确的面部表示

摘要

• 大多数人脸超分辨率（FSR）方法都将特定的人脸先验作为指导，以将给定的低分辨率（LR）超级解析为高分辨率（HR）图像。为了提高FSR性能，在过去的几十年中，人们探索了各种面部表示。然而，在估计LR图像的高质量面部表示方面仍然存在挑战。为了解决此问题，我们提出了新颖的面部表示法-增强了面部边界。通过语义上连接面部界标点，增强的面部边界保留了丰富的语义信息，并且对于不同的空间分辨率范围具有鲁棒性。基于增强的面部边界，我们设计了一种新颖的多阶段FSR（MS-FSR）方法，该方法应用了多阶段策略来逐步恢复高质量的人脸图像。增强的面部边界和从粗到精的监督有助于生成高质量面部表示的面部边界估计过程。 FSR任务的一次性投影分解为多个更简单的子过程。通过这些方法，MSFSR可以估计出更多的面部表情并获得更好的性能。实验结果表明，我们的方法在定性和定量测量方面均优于最新方法。

背景：在估计LR图像的高质量面部表示方面仍然存在挑战。
方法：提出了新颖的面部表示法-增强了面部边界。应用了多阶段策略来逐步恢复高质量的人脸图像。增强的面部边界和从粗到精的监督有助于生成高质量面部表示的面部边界估计过程
结论：实验结果表明，我们的方法在定性和定量测量方面均优于最新方法。

引言

略

-与其他真实世界图像不同，人脸图像在其高度结构化的形状和丰富的上下文信息中具有独特的分布。但是，人脸图像有时会以低分辨率（LR）模式拍摄，因为它们是在劣质相机中用劣质相机传感器捕获的。或者是与感兴趣的脸部之间的拍摄距离太远[5]，这使得高级脸部应用程序（例如，脸部识别，脸部操作和脸部对齐）变得困难。

引出FSR

• 要解决此问题，请使用人脸超分辨率（FSR）。人脸幻觉是仅重建人脸图像的超分辨率（SR）技术。 FSR技术旨在从LR面部图像重建视觉吸引人的高分辨率（HR）图像。 FSR作为一种针对特定领域的SR技术，由于考虑到面部图像的特定几何结构，因此可以有效地减少重建的HR面部图像中的模糊和失配纹理（图1中的第一行）。

面部界标的错误会导致超分辨结果效果很差

• Bakerand Kanade [6]所做的开创性工作距今已有数十年，最早提出了FSR。之后，开发了各种FSR技术。大多数经典模型专注于发现LR输入和相应的HR面部图像之间的适当映射。最近，各种卷积神经网络（CNN）[7、8、9]和生成对抗网络（GANs）[10、11]都有被提出来产生逼真的面部图像。这些方法[2，12]中的少数方法采用了各种面部属性向量作为面部特征。然而，这些方法仅专注于特定的面部属性，这导致产生错误的面孔。 **FSR的大多数方法都基于多种结构的面部表示，例如面部解析图[4]，面部界标点[3]和密集的对应字段[7]。**如图1（e），（f）所示，这些基于先验的方法能够生成具有更好视觉质量的面部图像。不幸的是，图1（e）是由利用面部界标点的网络生成的，它在重要的面部组件（如眼睛）上发生了变形。具有面部解析图的FSR网络[4]重建了具有每个面部成分精确定位的面部图像，而这些图像丢失了鼻梁上的内部结构细节，如图1（f）所示。为了解决这些问题，应该探索新颖的面部结构表示以改善FSR性能。

提出方法

• Wuet等人[13]首先在野外面部对齐任务中采用了13条面部边界线。考虑到人脸对齐任务中人脸边界线的优越性，我们设法扩展人脸轮廓表示中人脸边界线的鲁棒性以促进FSR任务。这是因为与固有的连续性相比，面部边界线比纯粹的界标点携带更多的语义引导。在我们的设计中，我们简化了原始的13个面部边界的定义，并删除了模棱两可的定义以适合FSR任务中的LR图像。图1（g），（h）证实了所提出的11个增强的面部边界的有效性。基于这些考虑，我们设计了一个新颖的FSR框架，即包含三个针对FSR优化的基本模块的多级网络（MSFSR）。三个基本模块是基本预处理模块​​（BPM），边界估计模块（BEM）和边界融合模块（BFM）。另外，提出了从粗到细的监督和跨阶段的快捷连接，以进一步提高MSFSR的性能。

主要贡献

• 综上所述，本研究主要有以下三个方面：
  • （1）我们提出将增强的面部边界作为FSR任务中的一种新的面部结构表示。增强的脸部边界是根据脸部界标点的语义含义形成的。连接边界的连续性附加了更丰富的语义信息，并且对于具有较大姿势和变化的面部保持鲁棒性。
  • （2）针对FSR的任务，我们设计了三个基本模块：BPM，BEM和BFM。 BPM通过后期升级设计摆脱了预定义的升级操作，从而提高了网络效率。 BEM估计器在统一框架中直接从面部图像增强了面部边界，而BFM则将通道关注的重点放在融合面部边界和特征图上，从而充分探索了不同潜在空间之间的关系。
  • （3）我们介绍了MSFSR网络，以提高重建图像的质量。我们将增强的面部边界与三个基本模块集成到一个多阶段的网络设计中，并提出了从粗到细的监督，以数字方式约束不同阶段的面部边界的精细度。所提出的网络不仅可以估计准确的面部表情，而且可以有效地提高重建图像的保真度。我们的方法在量化和定性结果上均达到了最先进的性能。

结论

• 在本文中，我们提出了一种新颖的MSFSR模型。据我们所知，该模型是第一个采用增强的面部边界线作为精确面部表示的FSR网络。此外，我们设计了三个优化模块以提高FSR模型的功能。为了进一步改进我们的方法，我们提出多级网络，可对面部边界进行从粗到精的监控。与其他SR算法相比，在增强的面部边界和优化的网络结构的基础上，我们获得了最先进的性能，并生成了具有精确面部细节的逼真的面部图像（8倍放大因子）。
  

图1.在8x的高端因子上，不同SR方法的视觉结果。 （a）地面真理。 （b）三次。 （c）EDSR [1]。 （d）URDGN [2]。 （e）PFSR [3]。 （f）FSRNet [4]。 （g）我们的。 （h）Ours-GAN。

图2.我们建议的MSFSR模型的流水线。 “ BPM”负责放大LR输入的空间分辨率。 “ BEM”从以前的输出中提取出增强的面部边界，“ BFM”将“ BPM”的输出与增强的面部边界结合在一起，以生成超分辨率的图像。绿线表示不同阶段之间的快捷连接。橙色箭头表示对增强的面部边界进行了额外的监督

图3.（a）显示了不同分辨率比例的人脸图像。 （b）说明了我们提出的增强的面部边界，这些边界是根据地标点手动生成的。 （c）在同一面部图像上显示11个增强的面部边界和81个界标点。 （d）在同一张人脸图像上展示了11个增强的人脸边界和194个地标点。