人脸超分辨率阅读论文汇总

1、FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors

2018 CVPR

总结：本文的主要思想是通过人脸图像的特殊性，从人脸图像中提取几何先验信息来提高超分辨率的效果，同时，为了生成更逼真的人脸图像，作者还提出了“人脸图像超分辨率生成对抗网络”。
文章提出了一种用于人脸超分辨率的深度端到端可训练人脸超分辨率网络(FSRNet)。基本FSRNet 由两个部分组成：粗SR网络、精细SR网络，其中精细SR网络又包括精细SR编码器、先验估计网络和精细SR解码器。具体网络结构如下图所示。

FSRNet的网络结构。“ k3n64s1”表示内核大小为3×3，要素映射号为64，步长为1。
首先构建粗的 SR 网络来生成粗的 HR 图像。
然后，粗的 HR 图像会被送到两个分支去： 1. 精细的SR 编码器，提取图像特征。 2. 先验信息预测网络，估计关键点landmark heatmap 和解析图。
最终，图像特征和先验信息会送到一个精细的 SR 解码器来恢复 HR 图像。

FSRNet的关键部分是先验估计网络，它不仅有助于提高PSNR/SSIM的光度恢复，而且还为直接从非常低分辨率的图像中进行精确的几何估计提供了解决方案，如人脸地标/解析图的结果所示。大量实验表明，FSRNet在非对齐人脸图像上无论在数量上还是在质量上都优于现有技术。根据本工作的主要思想，未来的研究可以在多个方面进行扩展，包括设计更好的先验估计网络，例如迭代地学习精细SR网络，以及研究其他有用的人脸先验信息，例如纹理。

论文地址：FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors
论文阅读笔记：FSRNet论文阅读

2、Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation

2020 CVPR

总结：现有的人脸超分方法没有充分利用先验知识，因为人脸先验信息(如人脸关键点)通常是通过低分辨率或粗略超分辨率的图像来估计的，这可能是不准确的，从而影响恢复性能。
本文提出了一种基于两个递归网络迭代协作的深度人脸超分辨率(FSR)方法，分别专注于人脸图像恢复和标志点估计。
在每个循环步骤中，恢复分支利用关键点的先验知识来产生更高质量的图像，从而依次促进更准确的关键点估计。因此，两个进程之间的迭代信息交互逐渐提高了彼此的性能。此外，还设计了一种新的注意力融合模块，以加强人脸关键点图的指导，在关键点图中，面部成分被单独生成并专心聚合，以实现更好的恢复。整体网络结构如图1所示，注意力融合模块如图2所示。

图1 深度迭代协作方法的总体框架。该体系结构由两个分支组成，一个递归SR分支和一个递归对齐分支。两个分支机构相互协作，一步步获得更好的SR图像和更准确的地标。“⊙”和“⊕”分别表示 concatenation和addition。

图2 左边的部分说明了从关键点地图中提取注意力地图的方法。右侧部分显示了注意力融合模块的流程图。输入特征由卷积层扩展。然后在注意图的指导下，通过一系列的组卷积层来提取构件特有的特征。我们将特征与通过频道维度广播的关注图相乘(“⊗”)。最后，将加权特征相加，形成输出。
注意力融合模块是循环SR分支的一部分，因此可以以递归方式将梯度反向传播到SR和对齐分支。 此外，关键点估计不仅可以通过施加在递归对齐分支上的损失来监督，而且可以通过注意力融合模块对FSR结果的修改来进行监督。

论文地址：Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation
论文阅读笔记：论文阅读

3、Attention-Aware Face Hallucination via Deep Reinforcement Learning

2017 CVPR

总结：当时主流的复原方法都是尝试学习低分辨率图像区域到高分辨率图像区域的映射，而没有对不同区域相关关系进行建模，所以我们提出了一种新的注意力感知人脸超分(Attendence-Aware FH)框架。
文中将人脸超分问题描述为马尔可夫决策过程，融合了人脸不同部位之间丰富的关联线索。根据对人类感知过程的研究，人类从感知整个图像开始，通过注意力转移机制依次探索一系列区域，而不是单独处理局部区域。这一发现启发作者提出新的方法，通过顺序地寻找注意的局部区域，并从全局的角度考虑它们的上下文依赖性。
注意力感知人脸超分框架由两个网络组成：一个是递归策略网络，用于动态确定当前步骤中需要增强的特定人脸部分；另一个是局部增强网络，用于进一步增强选定的人脸部分。在每一步，输入为之前的全图增强结果，使用策略网络选取全图的一块区域，并通过局部增强网络进行图像增强，增强的结果将拷贝并覆盖至原图，并作为下一步的输入。重复该步骤T次，得到最终的复原结果。网络结构如下图所示。

在Attention-FH框架中依次发现和增强面部部位。在每个时间步骤中，该框架都会根据过去的超分结果指定一个有人参与的区域，并通过考虑整个面孔的全局角度来对其进行增强。红色实心边界框指示每个步骤中最新感知的补丁，蓝色虚线边界框指示所有先前增强的区域。

递归策略网络和局部增强网络的网络架构

具体来说，整体流程就是递归策略网络（Policy Network）将基于之前部分复原的人脸图像，选择一个待复原区域；另一个局部增强网络（local enhancementnetwork）将参考之前复原的结果，仅对该区域进行增强这样的方式使得区域在进行复原时能获得其它已增强区域的信息，从而在整个图像上对区域的关系进行建模。大量实验表明，该模型不仅在热门评价数据集上取得了最好的性能，而且表现出了更好的视觉效果。

论文地址：Attention-Aware Face Hallucination via Deep Reinforcement Learning

4、Face Super-Resolution Guided by 3D Facial Priors

2020 CVPR

总结：最新的人脸超分辨率方法采用深度卷积神经网络，通过探索局部外观知识来学习低分辨率和高分辨率脸部图案之间的映射。然而，这些方法中的大多数都不能很好地利用面部结构和身份信息，并且难以处理表现出较大姿势变化的面部图像。
在本文中，提出了一种新颖的人脸超分辨率方法，该方法显式地结合了3D人脸先验，可捕捉清晰的人脸结构。该工作是第一个基于对面部属性（例如身份，面部表情，纹理，照明和面部姿势）的参数描述进行融合来探索3D可变形知识的工作。此外，先验可以容易地合并到任何网络中，并且在提高性能和加快收敛速度​​方面非常有效。网络结构如图所示。

框架由两个分支组成：用于提取人脸先验的3D渲染网络和利用先验知识解决人脸超分辨率问题空间注意力模块。在给定一幅低分辨率人脸图像的情况下，我们首先使用3D渲染分支来提取3D人脸系数。然后利用3D系数生成高分辨率的渲染图像，并将其作为高分辨率人脸的先验，便于空间注意模块中的人脸超分辨率处理。

空间特征转换块（SFT）。在卷积层之后，将3D人脸先验（渲染的人脸和系数特征）导入空间注意变换块。SFT层学习映射函数Θ，该函数根据先验（例如分割概率）提供调制参数对（µ;ν）。在此，将3D脸部先验作为输入。通过在空间上对每个中间特征图应用仿射变换，可以通过调制参数对来自适应控制SFT层的输出。具体来说，中间变换参数（µ;ν）是通过映射函数从先验中得出的。
渲染的人脸和特征向量被视为人脸超分辨率的指导。⊗表示逐元素乘法。

与已有的2D人脸先验关注可能导致人脸扭曲的标志点不同的是，该工作的3D先验清晰、直观、真实感强，可以很大程度上减少人脸伪影的发生。为了更好地利用3D先验，并考虑先验和输入之间的通道相关性，网络中使用了空间特征变换和注意块。在3D人脸先验四特征图的指导下，将人脸表情、身份、纹理、光照元素拼接和人脸姿态转换为人脸超分辨率，并馈送到超分辨率网络的空间特征变换块中。
3D模型还具有较强的鲁棒性，能够准确地恢复被眼镜、头发等遮挡的人脸。与其他对未知退化类型视而不见的SR算法相比，我们的3D模型可以稳健地生成3D可变形先验，以指导SR分支掌握清晰的空间知识和面部成分，即使在复杂的现实应用中也是如此。综合实验结果表明，与SOTA方法相比，该方法取得了更好的性能，并大大减少了伪影。

论文地址：Face Super-Resolution Guided by 3D Facial Priors

5、Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution

2017 ICCV

总结：大多数现代人脸超分辨率方法都使用卷积神经网络（CNN）来推断高分辨率（HR）人脸图像。当处理非常低分辨率（LR）的图像时，这些基于CNN的方法的性能会大大降低。同时，这些方法往往会产生过度平滑的输出，并遗漏了一些纹理细节。
为了解决这些挑战，本文提出了一种基于小波的CNN方法，该方法可以将分辨率为16×16或更小的像素大小的超低分辨率人脸图像超分辨率为多种缩放因子（2×，4×，8×和甚至是16倍）。与直接推导HR图像的常规CNN方法不同，我们的方法首先学习了从LR重构相应的HR小波系数序列，然后再从中重构出HR图像。为了捕获全局拓扑信息和人脸局部纹理细节，我们提出了一种灵活且可扩展的卷积神经网络，具有三种类型的损失：小波预测损失，纹理损失和全图像损失。大量的实验表明，与最先进的超分辨率方法相比，该方法在定量和定性方面均能获得更具吸引力的结果。

Wavelet-SRNet选用最简单的小波：haar小波，此小波足以描述不同频率的人脸信息。另外，使用快速小波变换（2-D fast wavelet transform ，FWT)）来计算haar小波。计算过程如图所示。

我们基于小波的超分辨率网络（Wavelet-SRNet）的体系结构由三个子网络组成：嵌入、小波预测、重构网络。嵌入网络将低分辨率输入表示为一组特征图。然后，小波预测网络对相应的小波系数图像进行估计。最后，重构网络从这些系数图像中重建出高分辨率的图像。网络结构如图所示。

（1）将一张低分辨率的人脸图像（LR Input）输入到embedding net中得到一组feature map；
（2）将这组embedded features输入到wavelet prediction net的各个并行的独立子网中得到Nw组小波系数。wavelet prediction net中的子网数量Nw 可根据需求进行调整；
（3）reconstruction net根据多组小波系数重建得到高分辨率图像。

论文地址：Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution
论文阅读笔记：Wavelet-SRNet论文阅读

6、Super-Resolving Very Low-Resolution Face Images with Supplementary Attributes

2018 CVPR

总结：给定一张微小的脸部图像，现有的脸部幻觉方法旨在通过从样本数据集中学习映射来超分辨高分辨率(HR)图像。由于一个低分辨率(LR)输入面片可能对应于许多HR候选面片，这种模糊性可能会导致HR面部细节失真和错误的属性，如性别反转。
以前的工作只把LR图像作为输入，然后用反卷积层进行超分辨。它们在超解析过程中没有考虑到有价值的语义信息。事实上，获取面部图像的面部属性等语义信息并不困难，但使用它是合乎逻辑的，特别是对于面部图像。不同于以往的工作，该文章中在人脸超分辨率中加入了低层视觉信息和高层语义信息，以减少LR和HR图像块之间映射的模糊性。
为了减少超分辨率过程中遇到的歧义，我们提出了一种以LR人脸和语义信息(即人脸属性)作为输入输出超分辨率HR人脸的上采样网络。整个网络由两部分组成：上采样网络和判别网络。上采样网络用于在LR输入图像中嵌入面部属性以及对融合后的特征映射进行上采样。判别网络用于约束待编码的输入属性和幻觉人脸图像与真实人脸图像的相似。网络结构如图。

上采样网络由嵌入面部属性的自动编码器和上采样层(如蓝色框所示)组成。在自动编码器的瓶颈处，我们将属性向量与残差特征向量连接起来，如图中的绿色和蓝色向量所示。将LR输入的残差特征向量与属性向量结合后，采用反卷积层对其进行上采样。使用空间变换网络(STNS)来补偿可能发生的错位
判别网络用于区分超分辨率人脸图像的属性是否忠于上采样网络中嵌入的属性，并用于约束上采样图像与HR真实人脸图像的相似性。

论文地址：Super-Resolving Very Low-Resolution Face Images With Supplementary Attributes

7、Progressive Face Super-Resolution via Attention to Facial Landmark

2019 BMVP

总结：人脸超分辨率(SR)是SR领域的一个子域，专门针对人脸图像的重建。人脸SR的主要挑战是在不失真的情况下恢复面部的基本特征。我们提出了一种新的人脸SR方法，该方法生成照片级真实感的8×超分辨率人脸图像，并且完全保留了人脸细节。
为此，文中采用了渐进式训练方法，通过将网络分成连续的步骤，每个步骤产生分辨率逐渐提高的输出，从而实现稳定的训练。还提出了一种新的人脸注意力损失，并将其应用于每一步，通过乘以像素差异和热图的值来专注于更详细地恢复人脸属性。最后，提出了一种最新的人脸对齐网络(FAN)的压缩版本，用于地标热图提取。利用提出的范数，可以提取出适合人脸SR的热图，同时也减少了整体训练时间。
为了生成反映目标面部图像的面部属性的高保真超分辨面部图像，使用了三种主要方法：渐进式训练，面部注意力损失和面部对准网络（FAN）的提炼。具体结构如图所示。

为了包含对抗性损失，体系结构由生成器网络和判别器网络组成，生成器网络就是人脸SR网络。为了稳定地训练生成器和判别器，构造了两个网络，它们都是由逐级堆叠的层组成的。生成器网络由三个剩余区块组成，鉴别器网络具有与生成器网络相对应的体系结构。

为了生成适合于关注准确的人脸标志点区域的热图，我们构建了既没有编解码器架构也没有跳跃层的网络，以单尺度特征图为基础预测标志点。此外，为了减少总体训练时间并获得与最好的性能，我们将FAN压缩到图所示的网络中。

论文地址：Progressive Face Super-Resolution via Attention to Facial Landmark

8、SAAN: SEMANTIC ATTENTION ADAPTATION NETWORK FOR FACE SUPER-RESOLUTION

2020 ICME

总结：本文先介绍了一些以前的方法并且提出目前还存在的问题：人脸的先验知识被广泛用于恢复更真实的人脸细节，这将增加网络的复杂度，并在训练和评估阶段引入额外的知识提取过程；在以前提出的方法中人脸先验知识提取网络是独立训练的，这阻碍了它的更新以提取更多对SR网络有用的信息，也导致在测试阶段需要进行解析(如语义分割)，从而引入了更多的计算量。SR性能取决于先验知识的质量，而从这种非常低分辨率的图像中提取先验知识是很困难的。
针对上述问题，提出将人脸语义先验提取和人脸SR与注意力自适应模型相结合，设计了一个面向人脸SR的语义注意力自适应网络(SAAN)。SAAN由三个部分组成：超分辨率(SR)网络、语义解析(SP)网络和语义注意适应(SAA)模型。
具体地说，通过采用语义注意自适应(SAA)模型将人脸先验知识提取能力传递给SR网络，对人脸语义解析网络和人脸SR网络进行联合训练。这样，SR网络就可以在测试阶段独立工作，而不需要使用先验知识提取网络。网络结构如图所示。

紫色和绿色线条分别表示从RB输出的特征和从SAA输出的特征
通过SAA模型将超分辨网络和语义分析网络连接起来。因此，通过联合训练，SR网络可以自适应地提取语义先验知识(而不是固定的先验知识)来指导SR过程。
对于SR网络，从输入的低分辨率图像中提取浅层特征，该特征将通过我们的剩余语义注意自适应(RSAA)块(如图所示)进行更深一步的处理，并在末端层进行上采样以重建高分辨率图像
对于SP网络，以真实的高分辨率图像作为输入图像。我们构建了一个U-Net式的人脸语义分析网络，可以同时提取浅层特征和高层语义特征。

以往的基于注意力的超分辨率网络在卷积层之间引入了语义注意力模型，以适应实际情况。以往的方法不同，我们提出了一种语义注意力模型，该模型利用语义解析特征图作为人脸SR的先验信息。
对于SP网络，FSAAK的输出将被提取到向量AASP
对于SR网络，每个RSAA块的输出将被压缩到一个矢量AASR

论文地址：SAAN: Semantic Attention Adaptation Network for Face Super-Resolution
论文阅读笔记：SAAN论文阅读

9、Component Attention Guided Face Super-Resolution Network: CAGFace

2020 WACV

总结：为了充分利用人脸的基础结构，通过人脸数据集收集的集体信息以及在上采样过程中的中间估计，在这里引入了一种全卷积多级神经网络，用于人脸图像的4倍超分辨率。
本文使用分割网络隐含地施加面部成分的注意图，以允许我们的网络专注于面部固有模式。网络的每个阶段都由一个主干层，一个残留主干和空间上采样层组成。我们周期性地应用阶段来重建中间图像，然后重用其空间到深度转换后的版本来逐步引导和提高图像质量。模型由一个离线训练的组件网络和两个超分辨率阶段组成。网络结构如图。

CAGFace体系结构。首先，对面部成分进行分割，并生成各个成分的注意力图。为了训练，对随机补丁进行采样。超分辨率网络分为两个阶段：第一阶段估算2倍的中间HR图像。第二阶段建立在空间深度转换的中间HR图像的基础上，并通过阶段跳过连接使用第一主干层的原始特征，同时隐式地施加组件注意。
每个超分辨率阶段都有三个主要组成部分。混合输入面片通道的主干层，在低分辨率特征图上应用完全卷积块的残留主干以及重构高分辨率图像的空间上采样层。其中残差主干由完全卷积的残差单元组成。

文章的想法就是虽然精确地检测人脸的标志点是具有挑战性的，但是可以近似地估计基于面片的面部成分的注意图，并利用这些注意图来引导超分辨率过程，从而促进更自然、更准确的分辨率增强。

论文地址：Component Attention Guided Face Super-Resolution Network: CAGFace
论文阅读笔记：CAGFace论文阅读

10、Learning Spatial Attention for Face Super-Resolution

2020 CVPR

总结：一般的图像超分辨率技术在应用于低分辨率人脸图像时，难以恢复人脸的细节结构。最近针对人脸图像定制的基于深度学习的方法通过与人脸分析和关键点预测等附加任务联合训练，获得了更好的性能。然而，多任务学习需要额外的手动标记数据。此外，现有的工作大多只能生成分辨率相对较低的人脸图像(例如128×128)，因此其应用受到限制。虽然与这些附加任务的联合训练有助于提高关键人脸结构的重要性，但存在两个主要缺陷，即(1)需要额外的努力来标记附加任务的数据；(2)从LR输入预测人脸先验本身也是一个难题。
本文介绍了一种新的空间注意残差网络(SPARNet)，该网络建立在文章中最新提出的人脸注意单元(FAUS)的基础上，用于人脸的超分辨率。具体地说，我们向普通残差块引入了空间注意机制。这使得卷积层能够自适应地引导与关键面部结构相关的特征，并且较少关注那些特征不那么丰富的区域。这使得训练更加有效和高效，注意图的可视化结果表明，即使在分辨率很低(如16×16)的人脸上，我们的空间注意网络也能很好地捕捉到关键的人脸结构。
PARNet由三个模块组成，即降级模块、特征提取模块和高级模块，这些模块中的每个模块都由一个FAU堆栈组成。具体结构如图所示。

图1 空间注意残差网络(SPARNet)的体系结构。I_LR首先通过双三次插值被上采样到与I_HR相同的空间维度，馈送到SPARNet以产生I_SR。我们提出了一种人脸注意单元(FAU)，它通过引入空间注意分支来扩展原始残差块(见图2)。通过将FAU堆叠在一起，Face SR的重要特征不断增强。

图2 面部注意单元。FAU中主要包括两个分支：特征分支和注意分支（应该提取多尺度特征）。
本文提出的FAU是SPARNet的基本构建块，可以引导关键的人脸结构(即人脸分量和人脸轮廓)，显著提高人脸超分辨率的性能，并且通过在SPARNet中重复FAU，不同FAU下的空间注意图可以学习聚焦于不同的人脸结构，从而进一步提高SPARNet的性能。

文章的主要想法就是向普通残差块引入空间注意机制。使卷积层能够自适应引导与关键脸部结构有关的特征，并较少关注那些特征较少的区域，使训练更有效。对各种指标（包括PSNR，SSIM，身份相似性和标志性检测）的定量比较证明了我们的方法优于当前技术水平。

论文地址：Learning Spatial Attention for Face Super-Resolution
论文阅读笔记：SPARNet论文阅读

11、Dual-Path Deep Fusion Network for Face Image Hallucination

2020 TNNLS

总结：在过去的十年中，越来越多的超分方法被开发出来。大多数现有的基于浅层学习的工作都致力于利用正则化技术从候选对象中找到最相似的结果。虽然上述方法是非常有效的，但约束线性映射不足以处理复杂的SR任务。基于深度学习的方法倾向于学习从低分辨率(LR)图像到高分辨率(HR)图像的整体外观映射，而没有考虑人脸图像的特殊外观结构。因此，它们不能产生精细的面部纹理，但往往会使视觉效果变得模糊。随着基于深度学习的人脸超分方法性能的提高，各种人脸先验(面部形状、面部标志性热图或解析图)被用于描述整体和部分面部特征，使得生成超分辨率人脸图像的成本昂贵且费力。
为了解决上述问题，我们提出了一种简单而有效的解决方案，从给定的微小LR样本重建高质量的人脸图像，并在不增加辅助人脸先验的情况下获得最先进的性能。我们构建了一种简单而有效的双路径深度融合网络(DPDFN)具体结构如图所示，用于人脸图像的超分辨率，不需要额外的人脸先验知识，它通过两个单独的分支学习全局人脸形状和局部人脸成分。

图1 建议的DPDFN框架。DPDFN由三个部分组成：全局存储子网络（GMN），局部增强子网络（LRN）和融合与重建模块（FRM）。
给出一个LR人脸图像I_LR，我们的目标是重建出类似于I_HR的高质量的人脸图像I_SR。

图2 建议的RDRB结构，RDRB包含三个原始残差单元和一个ConvLSTM单元

图3 建议的MRU(MRB)结构。MRB由几个MRU组成(在本文工作中，数量设置为3)。

在本文中，我们提出了一种简单而有效的人脸图像幻觉DPDFN，它在不需要额外的辅助人脸先验的情况下获得了最先进的性能。DPDFN由三个主要部分组成：GMN、局部增强子网(LRN)和FRM。在GMN中，我们使用递归和密集的残差学习来学习整个面部形状，它捕捉到了跨空间区域的大范围纹理相关性。同时，我们学习局部面部成分通过对小块图像进行特征提取，使得我们可以在局部区域而不是整个图像上单独建模LR和HR空间之间的映射关系。此外，通过融合FRM中提取的全局和局部人脸信息，我们重建了高质量的SR人脸图像。在公共人脸数据集上进行了大量的人脸幻觉实验，并在VGface和SCFace数据集上进行了人脸识别实验，显示出了比最先进的方法更显着的优越性。

论文地址：Dual-Path Deep Fusion Network for Face Image Hallucination
论文阅读笔记：DPDFN论文阅读

12、Joint Super-Resolution and Alignment of Tiny Faces

2020 AAAI

微小人脸的超分辨率与特征点定位是高度相关的任务。一方面，利用高分辨率的人脸可以获得更高的精度特征点的定位。另一方面，面部SR将受益于对面部属性(如特征点)的先验知识。（人脸的超分和人脸特征点的定位相互促进）。因此，我们提出了一种联合对齐和SR网络来同时检测人脸关键点和超分辨微小人脸。更具体地说，通过利用互补信息，应用共享深度编码器来提取这两个任务的特征。为了利用分级编码器的代表能力，将共享特征提取模块的中间层融合以形成有效的特征表示。融合后的特征被输入到特定任务的模块，以同时地检测人脸特征点和超分辨人脸图像。
如图所示，JASRNet由四部分组成：(1)一个共享的浅层编码器模块，用于提取两个任务的浅层和共享特征；(2)深度特征提取和融合，用于获得更好的特征表示；(3-4)特定于任务的模块，分别用于超分辨率和人脸对齐。

建议的JASRNet的体系结构。共享编码模块（Shared Encoder）是为双任务提取浅层特征和共享特征。采用深度特征提取和融合模块（The deep feature extraction and fusion）是为了获得更好的特征表示。super-resolution and face alignment模块是超分辨率重构模块和人脸对齐模块。
原始LR图片被送入给共享的编码器，然后编码器将数据输入到特征提取模块，为这两个任务提取特征。接着，融合的特征被输入到两个特定任务的模块。同时生成超分辨率图片（I⁽ⁱ⁾_HR）和特征点估计的概率图（M⁽ⁱ⁾）。

论文地址：Joint Super-Resolution and Alignment of Tiny Faces
论文阅读笔记：JASRNet论文阅读

13、MSFSR: A Multi-Stage Face Super-Resolution with Accurate Facial Representation via Enhanced Facial Boundaries

2020 CVPR

总结：在本文提出了新颖的面部表示法——增强了面部边界。通过语义连接人脸标志点，增强的人脸边界保留了丰富的语义信息，对不同的空间分辨率尺度具有较强的鲁棒性。基于增强的面部边界，我们设计了一种新颖的多阶段FSR（MS-FSR）方法，该方法应用了多阶段策略来逐步恢复高质量的人脸图像。增强的面部边界和从粗到精的监督有助于生成高质量面部表示的面部边界估计过程。 FSR任务的一次性投影分解为多个更简单的子过程。
提出的MSFSR的主要改进有三个方面。首先，在仔细考虑现有FSR方法不足的基础上，提出并应用了增强的人脸边界。随着增强过程的进行，增强后的面部边界更能有效地表示面部结构。其次，针对FSR设计了三个柔性模块，并对其进行了优化。最后，在MSFSR的端到端框架中引入了由粗到精的监管方式和快捷连接方式。
MSFSR模型的流水线如图所示。该网络包括三个独立的模块：基本预处理模块(BPM)、边界估计模块(BEM)和边界融合模块(BFM)。此外，我们引入剩余通道注意块如图。

建议的MSFSR模型。“BPM”负责放大LR输入的空间分辨率。“BEM”从先前的输出中提取增强的面部边界，而“BFM”将来自“BPM”的输出与增强的面部边界组合在一起，以生成超分辨率图像。

论文地址：MSFSR: A Multi-Stage Face Super-Resolution with Accurate Facial Representation via Enhanced Facial Boundaries
论文阅读笔记：MSFSR论文阅读

14、Copy and Paste GAN: Face Hallucination from Shaded Thumbnails

2020 CVPR

总结：现有的基于卷积神经网络(CNN)的人脸超分方法在正常光照条件下的低分辨率人脸上取得了令人印象深刻的效果。然而，当在低照度或非均匀光照条件下捕捉LR脸时，它们的性能会显著降低。因此提出了一种复制粘贴生成对抗性网络(CPGAN)来恢复真实的高分辨率人脸图像，同时补偿低照度和不均匀光照的方法。
为了减少光照不均匀造成的NI-LR（不均匀低分辨率）到UI-HR（均匀高分辨率）映射的模糊性，我们提出了CPGAN框架，该框架以NI-LR人脸作为输入，以光照正常的外部HR人脸为引导，实现对UI-HR人脸的幻觉。在CPGAN中，我们开发了复制粘贴网络(CPnet)，根据输入图像的语义空间分布，灵活地对均匀光照特征进行“复制”和“粘贴”，从而对输入图像的光照进行补偿。采用鉴别器强制生成的UI-HR人脸位于真实人脸图像的流形上。整个网络结构如图所示。CPGAN由以下组件组成：内部CPnet、外部CPnet、空间变压器网络(STNS)、反卷积层、堆叠式沙漏模块和鉴别器网络。

图1 CPGAN的网络结构。输入的NI-LR图像首先通过内部CPnet来增强面部细节，并通过利用阴影面部信息来粗略地归一化光照。然后，外部CPnet在上采样过程中求助于外部引导的UI-HR脸以进行进一步的照明补偿。由于输入图像可能会发生错位，如平面内旋转、平移和比例变化，我们使用STNs来补偿错位，如图1中的黄色方块所示。同时，我们采用堆叠沙漏网络来估计重要的人脸标志性热图以保持人脸结构。

内部CPnet的架构。本文将通道注意模块的输出特征作为输入特征和引导特征。这里的粘贴块表示加法运算。

外部CPnet的体系结构。这里的外部复制模块由一个复制块组成。粘贴块表示加法运算。

论文地址：Copy and Paste GAN: Face Hallucination from Shaded Thumbnails
论文阅读笔记：CPGAN论文阅读

15、Face Super-Resolution Reconstruction Based on Self-Attention Residual Network

2020 IEEE Access

总结：本文针对基于卷积神经网络的人脸图像超分辨率重建方法存在的特征提取规模单一、特征利用率低、人脸图像纹理模糊等问题，提出了一种将卷积神经网络与自注意机制相结合的人脸图像超分辨率重建模型。
在DCSCN网络提出后，它通过级联多个3×3卷积核并使用跳跃连接来增强特征提取能力。然而DCSCN网络的特征提取能力有限，人脸重建效果较差。所以本文将自我注意机制（如图2）引入到DCSCN中，并适当去除卷积层以增强网络的特征提取能力。这样网络就可以有目的地学习，更有利于人脸细节的准确重建，重建效果明显提高。我们将卷积层与自我注意机制结合在一起以提取特征，并且为了减少网络冗余，对DCSCN的特征提取网络的后四层进行了删除，并对损失函数进行了有针对性的改进，最后提出了本文的网络称为SARCN。网络结构如图1所示。

图1 SARCN网络模型结构。将DCSCN的特征提取进一步细分为浅层特征提取和深层特征提取，后半部分是重建模块和上采样层，其中引入亚像素卷积层（如图3）来实现上采样。本文改进的网络由三部分组成:浅层特征提取模块、深层特征提取模块和重构模块。

图2 自我注意残差网络。在每一行上执行Softmax操作。H×W×C表示高度为H、宽度为W的C特征。⊗表示矩阵乘法，⊕表示元素加法。

图3 亚像素卷积图，包括卷积和重排两个步骤。亚像素卷积的实质是在传统的卷积层基础上增加一个相移层来改变图像的大小，在上采样过程中利用相移层来改变图像的大小。插值函数隐含在前面的卷积层中，可以自动学习。

论文地址：Face Super-Resolution Reconstruction Based on Self-Attention Residual Network
论文阅读笔记：SARCN论文阅读

16、Face Hallucination with Tiny Unaligned Images by Transformative Discriminative Neural Networks

2017 AAAI

总结：传统的面部幻觉方法在很大程度上依赖于低分辨率（LR）面部的精确对齐，然后再将其向上采样。对齐错误通常会导致结果不足，并且会因较大的放大系数而导致出现不自然的伪影。然而，由于姿势范围的变化和面部表情的不同，特别是在LR输入图像对齐时，很难对齐LR输入图像。为了克服这一挑战，我们在此提出了一种端到端的变换性判别神经网络（TDN），该网络设计用于超分辨率为8的超分辨率未对准且非常小的人脸图像。我们的方法采用了一个上采样网络，其中嵌入了空间转换层，以允许局部感受野与相似的空间支持对齐。此外，我们通过连续的判别网络将特定类别的损失纳入目标，以提高语义信息的对齐和上采样性能。在大型人脸数据集上进行的广泛实验表明，所提出的方法明显优于现有技术。
我们的变换式判别神经网络由两部分组成：一个由空间变换网络层和反卷积层组成的上采样网络，以及一个判别网络。同时实现了图像对齐和超分辨率。整个处理流水线如图1所示。

图1 TDN网络结构，由两部分组成：上采样网络(在红框中)和判别网络(在蓝框中)。其中上采样网络中的空间变换网络层被表示为图中的绿色方框。这些层包括三个模块：定位模块、网格生成器模块和采样器。

我们提出了一种变换式判别网络，以超分辨未对齐的超低分辨率人脸图像端到端的方式。我们的网络学习如何使用特定于类别的信息来对齐人脸以及如何对人脸进行升采样。它在展现丰富而真实的面部细节的同时，具有显着的8倍升采样系数。由于我们的方法不需要面部姿势和面部表情的任何反馈，因此非常实用。
论文地址：
论文阅读笔记：TDN论文阅读

17、ATMFN: Adaptive-Threshold-Based Multi-Model Fusion Network for Compressed Face Hallucination

2020 TMM

总结：虽然最近在人脸超分方面取得了巨大的进展，但现有的基于单一深度学习框架的方法很难从复杂退化的微小人脸中提供令人满意的精细面部特征。本文提出了一种基于自适应阈值的多模型融合网络(ATMFN)用于人脸超分，将不同的深度学习模型结合起来，发挥各自的学习优势。首先，我们构造了基于CNN、GAN和RNN的底层超级分解器来产生候选SR结果。在此基础上，提出了注意子网络来学习获取候选SR人脸信息最丰富的各个融合权重矩阵。具体地说，融合矩阵和底层网络的超参数以端到端的方式一起优化，以驱动它们进行协作学习。最后，采用基于阈值的融合和重建模块，利用候选图像的互补性，生成高质量的人脸图像。在基准人脸数据集和真实世界样本上的大量实验表明，我们的模型在量化指标和视觉效果方面都优于最先进的SR方法。

图1 一种基于自适应阈值的多模型融合网络(ATMFN)。红色方框中的组件表示具有不同深度学习模型的集成超分辨率。绿色方框由多个注意子网络组成。“C”和⊗分别表示连接和乘法。ATMFN采用多个候选深度学习网络(CNN、GAN和RNN)来发挥集成学习的优势。特别地，该网络可以粗略地分为三个部分：候选生成、集成权重学习和基于自适应阈值的融合和重构。

CNN,GAN,RNN和基于自适应阈值的融合和重建模块。

论文地址：ATMFN
论文阅读笔记：ATMFN论文阅读

18、PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

2020 CVPR
？？？看不懂
单幅图像超分辨率的主要目的是从相应的低分辨率(LR)输入构建高分辨率(HR)图像。在通常受到监督的以前的方法中，训练目标通常测量超分辨率(SR)图像和HR图像之间的像素平均距离。优化这样的度量通常会导致模糊，特别是在高方差(详细)区域。我们提出了一种超分辨率问题的替代公式，基于创建真实的SR图像，并正确缩小比例。我们提出了一种新的超分辨率算法PULSE(通过潜在空间探索的照片上采样)来解决这个问题，它能够以文献中未见过的分辨率生成高分辨率、逼真的图像。与以前的方法(需要在LR-HR图像对的数据库上进行有监督的学习)不同，它以完全自监督的方式实现这一点，并且不限于在训练期间使用的特定退化算子。PULSE不是从LR图像开始慢慢添加细节，而是遍历高分辨率自然图像流形，搜索缩小到原始LR图像的图像。这是通过“缩小尺度损失”来形式化的，它引导人们在生成模型的潜在空间中进行探索。通过利用高维高斯的性质，我们限制了搜索空间，以保证我们的输出是真实的。PULSE因此可以生成既逼真又能正确缩小比例的超分辨率图像。

(X32)将输入(顶部)向上采样到SR图像(中间)，然后将其缩小(底部)到原始图像。

FSRNet倾向于适当缩小比例的图像的平均值。FSRGAN中的鉴别器损耗将其拉向自然图像流形的方向，而脉冲总是沿着该流形移动

PULSE与其他方法的比较

19、Face Super-resolution Guided by Facial Component Heatmaps

2018 EECV

总结：最先进的人脸超分辨率方法利用深度卷积神经网络通过探索局部外观信息来学习低分辨率(LR)面部图案与其对应的高分辨率(HR)面部图案之间的映射。然而，这些方法中的大多数都没有考虑到面部结构，并且由于大量的姿势变化和错位而导致退化。
本文提出了一种利用多任务卷积神经网络(CNN)将人脸的结构信息显式地合并到人脸超分辨率过程中的方法。我们的CNN有两个分支：一个是超分辨率脸部图像，另一个是预测脸部成分热图的显著区域。这些热图促使上采样流生成具有更高质量细节的超分辨率面部。我们的方法不仅利用低层信息(即强度相似性)，还利用中层信息(即人脸结构)来进一步探索LR输入图像中人脸成分的空间约束。因此，我们能够在保持人脸结构的同时，以8倍的大比例放大倍数来超分辨非常小的未对齐的人脸图像(16×16像素)。
我们的网络主要由两部分组成：多任务上采样网络和判别网络。我们的多任务上采样网络(MTUN)由两个分支组成：一个上采样分支和一个面部成分热图估计分支(HEB)。图1显示了我们提议的网络的整体架构。整个网络都是以端到端的方式进行训练的。

图1 多任务上采样网络的结构（MTUN）由两个分支组成：上采样分支(蓝色块)和面部分量热图估计分支(绿色块)。
我们建议从超分辨率特征图中预测面部成分热图，而不是定位LR输入图像中的标志点，因为上采样的特征图包含更多细节，并且其分辨率足够大，可以估计面部成分热图。

判别网络如图1的红色块所示，由卷积层和完全连通层构成，被用来确定图像是从真实人脸图像采样还是从幻觉人脸图像采样。

论文地址：MTUN
论文阅读笔记：MTUN论文阅读

20、FACE HALLUCINATION BASED ON KEY PARTS ENHANCEMENT

2018 ICASSP

总结：脸部幻觉的目的是从低分辨率的脸部生成高分辨率的脸部。一般的超分辨率方法不能很好地解决这个问题，因为人脸具有很强的结构性。随着深度学习技术的迅速发展，出现了一些用于人脸幻觉的卷积神经网络(CNNs)模型，并取得了很好的效果。本文提出了一种基于人脸五个关键部位的五分支网络。每个分支的目的是产生一个高分辨率的关键部件，最终的高分辨率人脸是五个分支输出的组合。此外，我们还设计了一个增强单元(GEU)，并将其级联以形成我们的网络结构。实验结果表明，该方法能够生成令人满意的高分辨率人脸。
提出的方法如图1所示，对于输入的LR图像，我们通过我们的新方法生成HR图像。首先，我们将输入的LR图像发送到所提出的五分支网络。每个分支负责生成特定的人脸关键部分。然后，每个分支输出HR关键部分及其掩码。基于生成的模板，我们的模型结合了各个分支的输出，并输出HR人脸图像。

图1 提出的网络架构。我们的网络有五个分支，分别是眼睛分支、鼻子分支、嘴巴分支、眉毛分支和剩下的部分分支。各分支机构输出对应的高分辨率关键部件。为了便于训练，每个分支学习一幅残差图像。因此，每个分支的输出是双三次插值图像和残差图像的组合。

图2 GEU，我们将GEUs级联以形成我们的深层CNN模型。

论文地址：FACE HALLUCINATION BASED ON KEY PARTS ENHANCEMENT
论文阅读笔记：论文阅读

21、PARSING MAP GUIDED MULTI-SCALE ATTENTION NETWORK FOR FACE HALLUCINATION

2020 ICASSP

总结：本文提出了一种基于具有多尺度通道和空间注意机制的深度神经网络的两步人脸幻觉方法。具体地说，我们开发了一个ParsingNet来提取输入LR人脸的先验知识，然后将其输入到精心设计的FishSRNet中来恢复目标HR人脸。实验结果表明，我们的方法在量化指标和视觉质量方面都优于最先进的方法。
虽然现存的人脸图像的超分辨率方法已经取得了令人印象深刻的效果，但仍然需要认真考虑以下问题：i)从中间结果得到的先验知识直接受到中间结果质量的影响，而中间结果的质量通常是有限的，导致学习到的先验知识很差，甚至是错误的。ii)在一般的图像超分辨率方法中，已经证明通道和空间注意信息对于提高图像重建的性能是有用的。然而，作为一种特定的图像超分辨率方法，现有的人脸幻觉方法大多忽略了注意机制。iii)目前的深部人脸图像超分辨率网络多为预上采样或后上采样。然而，低分辨率的特征不适合于像素级任务，直接使用高分辨率浅层特征进行像素级任务效果不佳。
针对上述不足，本文提出了一种面向人脸幻觉的解析图引导的多尺度注意网络。提出的方法由两个子网络组成，i)ParsingNet从LR人脸学习解析映射，ii)FishSRNet利用LR人脸和相应的解析映射恢复HR人脸。

图1 提出方法的总体框架
图2 FishSRNet体系结构。FishSRNet是一个鱼形网络，由特征提取层、鱼头、鱼体、鱼尾和重构层组成。
图3 MSAB。包括三个主要模块：Convolution-ReLU，多尺度卷积，注意块（通道注意机制和空间注意机制）

论文地址：FishSRNet
论文阅读笔记：FishSRNet论文阅读