联合对准和超分辨率网络（JASRNet）论文阅读笔记

题目:Joint Super-Resolution and Alignment of Tiny Faces

中文：微小面的联合超分辨率和对齐

摘要

• 微小面孔的超分辨率（SR）和界标定位是高度相关的任务。一方面，具有高分辨率（HR）的人脸可以实现界标定位。另一方面，人脸SR将受益于人脸特征（例如地标）的先验知识，因此，我们提出了一种联合对准和SR网络来同时检测人脸标志和超分辨小人脸。更具体地说，共享的深度编码器通过利用补充信息被应用于为两个任务提取特征。为了利用分层编码器的代表性功能，将共享特征提取模块的中间层融合以形成有效的特征表示，然后将融合后的特征馈送到特定于任务的模块中，以检测地标并并行并行处理超分辨人脸图像。大量实验表明，所提出的模型在地标定位和人脸SR方面均明显优于最新技术。我们显示出对小脸（即16×16）的地标定位有很大的改进。此外，所提出的框架针对低分辨率（LR）面孔（即64×64）上的界标定位产生了与HR的现有方法（即256×256）相当的结果。至于SR，与其他最新方法相比，该方法从LR面部图像中恢复了更清晰的边缘和更多细节，我们已对其进行了定性和定量分析。

背景：同时解决对齐和超分辨率任务时从微小的面部图像中获取最大的信息量
方法：
结论：提出的模型在地标定位和人脸SR方面均明显优于最新技术

引言

当应用于低分辨率（LR）图像时，基于面部的任务的现代模型往往会崩溃。所以提出FSR

• 自动面部识别对于人类感知（例如，超分辨率（SR）（Yu和Porikli2016），视觉理解（GGuçl̈uẗurk等人，2017）和样式转换（Liu，Breuel和Kautz）的问题至关重要（2017））和应用的机器视觉（例如，地标定位（Robinson等，2019），身份识别（Wu等，2016）和面部检测（Zhang等，2016））。当应用于低分辨率（LR）图像时，基于面部的任务的现代模型往往会崩溃。在实践中，基于面部的系统经常遇到这种情况（例如，用于监视的LR摄像机（Yu和Porikli 2017））。最近的研究表明，用于面部界标定位的模型的分辨率降低（即<30×30）会导致误差增加（Bulat等人2018）。为了解决这个问题，提出人脸超分辨。也称为人脸幻觉，旨在从LR图像生成高分辨率（HR）人脸（Liu，Shum和Freeman 2007）。然后，恢复的面部提供更多详细信息（例如，更锐利的边缘，更清晰的形状和更精细的皮肤细节），并且经常用于改进的分析和感知。但是，大多数现有方法（例如Su-perfan（Bulat和Tzimiropoulos 2018））严重依赖于恢复图像的质量。由于SR方法通常会产生模糊性，因此将SR图像用于面部相关任务可能会阻碍最终的预测或结论。

利用先验信息FSR

• 另一方面，面部先验知识可用于恢复较高质量的SR面部（Baker和Kanade 2000； Liu，Shum和Freeman 2007）。在单图像超分辨率（SISR）问题中，人脸SR利用先验知识来提高推断图像的准确性，从而获得更高质量的结果。例如，一个可以利用低级信息（即颜色的平滑度），面部热图和人脸解析图来提供其他中级信息（即人脸结构）以恢复锐利的边缘和形状（Chen等人，2018）。此外，可以使用身份标签和其他面孔提取高级信息。然后利用杠杆作用来减少幻觉的面孔的歧义性（Yu等人2018; Lee等人2018）。因此，额外的人脸信息对于SR是有益的，尤其是对于细小的人脸（例如16×16）。

• 面部SR的先前工作要么是使用先验信息的超分辨LR图像（例如FSRNet（Chen等人，2018）），要么是将图像的地标直接定位在超分辨图像上（例如，SuperFAN（Bulat和Tzimiropoulos 2018））。图2将这些框架与提出的方法进行了比较。具体地说，SuperFAN仅使用SR来帮助定位小脸的地标，反之则不然。此外，我们的模型不处理受模糊影响的恢复的SR输出，因为我们专用于编码模块以最大化从LR脸部捕获的信息量。就FSRNet而言，界标仅用作超分辨脸部的面部先验知识，这也具有在粗糙的，恢复的SRimage上检测界标的相同问题。此外，SuperFAN和FSRNet分别处理这两个任务，从而导致冗余的功能图。由于人脸SR和界标定位任务可以相互受益，因此我们旨在通过同时解决这两个任务来从LR人脸中提取最大量的信息。因此，我们提出了一个多任务框架，使这些任务可以相互受益，从而提高了这两个任务的性能（见图1）。本文的主要贡献如下：
• • 1.在本文中，我们提出了一个网络，该网络可以在细小的面部上共同执行SR和地标检测，该网络称为JASRNet1。据我们所知，我们是第一个训练可共同学习地标定位和SR的多任务模型的人。具体而言，与现有的两步方法不同，我们利用了两个任务的互补信息。这允许在LR空间中进行更准确的界标预测，并改进从LR到HR的重建。
  • 2、新颖的深度特征提取和融合模块用于最大化从LR面部捕获的信息量，这是在编码器的中间层完成的，以利用深度分层机制。
  • 3。我们针对细小面孔（即16×16）在SR和界标定位方面都显示出了很大的改进。此外，我们的JAS-RNet产生了LR面（即64×64）上的界标定位结果，该结果与相应HR面（即256×256）上评估的现有方法具有可比性。以及与SR的最新方法相比的形状。

结论

• 我们提出了一个JASRNet，以便在同时解决对齐和超分辨率任务时从微小的面部图像中获取最大的信息量。大量的实验表明，通过从HR面孔中恢复出锐利的边缘（即更精细的细节），提出的拟议的明显优于SR的最新技术。我们还展示了对小脸的标志性定位（即16×16）的巨大改进。此外，所提出的框架对于较低分辨率（即64×64）的面上的地标定位产生了与高分辨率（即256×256）上的现有方法相当的结果。
  

图1：与SuperFAN（Bulat等人，2018）和FSRNet（Chen等人，2018）的比较建议的可恢复锐利边缘和更精细的HR空间（a）。此外，（b）展示了叠加在SR面孔上的估算地标，其中，红色标记为真实地标，绿色标记为预测地标

图2：图形视图。（a）SuperFAN（Bulat and Tz-imiropoulos 2018）检测超分辨面孔上的地标。 （b）FSRNet（Chen et al.2018）使用SR的先验信息。 （c）我们的多任务框架共同学习地标本地化和SR，彼此之间相互辅助。

图3：提议的JASRNet的体系结构共享编码器模块用于提取两个任务的浅层特征和共享特征。深度特征提取和融合模块用于获得更好的特征表示。另外两个模块分别是任务特定的模块，分别用于超分辨率和面部对齐

图4：视觉结果。不同超分辨率方法的比较