SPARNet（2020.12.4IEEE）论文阅读笔记

题目：Learning Spatial Attention for FaceSuper-Resolution

中文：学习空间注意力以实现人脸超分辨率

摘要

• 常规图像超分辨率技术在应用**【缺点】低分辨率面部图像时难以恢复详细的面部结构。通过与其他任务（例如人脸解析和界标预测）共同训练，针对人脸图像量身定制的最新基于深度学习的方法已经实现了改进的性能。但是，多任务学习需要额外的手动标记数据。此外，大多数现有的工作扫描仅产生相对低分辨率的面部图像（例如128×128），因此其应用受到限制。在本文中，我们介绍了一种基于我们新提出的面部注意单元（FAU）的新颖的空间注意力残留网络（SPARNet）**，用于面部超分辨率。具体而言，我们向普通残差块引入了空间注意机制。这使卷积层能够自适应引导与关键脸部结构有关的特征，并较少关注那些特征较少的区域。这使得训练更加有效，因为关键的面部结构仅占面部图像的一小部分。注意力图的可视化表明，即使对于分辨率很低的面孔（例如16×16），我们的空间注意力网络也可以很好地捕获关键的面孔结构。对各种指标（包括PSNR，SSIM，身份相似性和标志性检测）的定量比较证明了我们的方法优于当前技术水平。我们进一步使用名为SPARNetHD的多尺度鉴别器扩展SPARNet，以产生高分辨率结果（即512×512）。我们表明，经过合成数据训练的SPARNetHD不仅可以为合成退化的人脸图像生成高质量和高分辨率的输出，而且还显示出对现实世界中低质量人脸图像的良好概括能力。可以在上找到代码。术语-面部超分辨率，空间注意力，生成对抗网络

背景：1、常规图像超分辨率技术在应用，低分辨率面部图像时难以恢复详细的面部结构。
2、大多数现有的工作仅产生相对低分辨率的面部图像。
方法：向普通残差块引入了空间注意机制。使卷积层能够自适应引导与关键脸部结构有关的特征，并较少关注那些特征较少的区域，使训练更有效。
结论：对各种指标（包括PSNR，SSIM，身份相似性和标志性检测）的定量比较证明了我们的方法优于当前技术水平。

https://github.com/chaofengc/Face