Super-FAN论文阅读笔记

题目:Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs

中文:Super-FAN：使用GAN在任意姿势下集成了面部界标定位和超高分辨率的现实世界低分辨率面孔

摘要

• 本文解决了两个具有挑战性的任务：提高低分辨率面部图像的质量，并在此类分辨率较差的图像上准确定位面部标志。为此，我们做出了以下五点贡献：（a）我们提出了superFAN- ：这是第一个同时解决这两项任务的端到端系统，即既提高了面部分辨率又检测了面部标志。新型Super-FAN在于通过集成子网通过热图回归实现人脸对齐并优化新型热图损失，从而将结构信息整合到基于GAN的超分辨率算法中。 （b）我们通过报告不仅在正面图像上（如在先前工作中）而且在整个面部姿势频谱上不仅在合成低分辨率图像上（如在先前工作中）报告良好的结果来说明联合训练两个网络的好处而且还可以显示真实图像（c）通过提出一种新的基于残差的架构，我们改进了人脸超分辨率的最新技术。 （d）从数量上看，我们在人脸超分辨率和对齐方式方面都显示出比现有技术有很大的提高。 （e）定性地，我们首次在现实世界中的低分辨率图像上显示出了良好的效果，如图1所示。

背景：超分辨的同时进行地标检测
方法：通过集成子网通过热图损失实现人脸对齐并优化新型热图损失，从而将结构信息整合到基于GAN的超分辨率算法中。
结论：从数量上看，我们在人脸超分辨率和对齐方式方面都显示出比现有技术有很大的提高。 （e）定性地，我们首次在现实世界中的低分辨率图像上显示出了良好的效果，如图1所示。

引言

引出面部超分辨和面部对齐的联系

• 本文的目的是改善非常低分辨率的面部图像的质量和理解。这在许多应用程序中都很重要，例如面部编辑监视/安全性。在质量方面，我们的目标是提高分辨率并恢复现实世界中低分辨率的人脸图像的细节，如图1的第一行所示。此任务也称为人脸超分辨率（当输入分辨率太小时，此任务有时称为人脸幻觉）。在理解方面，我们希望通过定位一组具有语义含义的预定义面部标志（如鼻尖，眼角等）来提取中高级面部信息；此任务也称为面部对齐。