Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Esti

1、引言

主要思想
基于深度学习和面部先验的最新作品成功地解决了严重退化的面部图像。但是，现有技术无法充分利用现有方法，因为诸如地标和成分图之类的面部先验总是通过低分辨率或粗糙的超分辨图像来估计的，这可能不准确，从而影响了恢复性能。在本文中，提出了一种用于人脸超分辨率的深度迭代协作方法，以缓解上述问题。

本文贡献
1、提出了一种深度迭代的人脸超分辨率协作方法，与以前的方法不同，本文让人脸SR和对齐过程逐步相互促进。
2、提出了一种新的关注融合模块来整合地标信息，而不是简单的concatenation操作。

给出了该方法的数据流程。不同步骤的FSR输出显示在顶行，检测到的人脸标志点相应地显示在HR图像的底行。粉色箭头表示面部对齐过程，而蓝色箭头表示具有专心的面部恢复过程地标的融合。黑色箭头表示两个分支中的循环方案。通过我们的框架，SR图像的质量逐渐提高，估计的地标（红色）也越来越接近地面真相（绿色）。

2、网络结构

在人脸超分辨率中，我们的目标是恢复输入LR人脸图像I_LR的面部细节，并得到SR结果I_SR。文中设计了一个深度迭代协作网络，利用输入的LR图像迭代渐进地估计高质量的SR图像和地标地图。为了加强SR和对齐过程之间的协作，设计了一种新型的注意力融合模块，该模块有效地集成了两个信息源。最后，应用对抗性损失来监督框架的训练，生成具有高保真细节的增强SR人脸。

提出的深度迭代协作方法的总体框架。该体系结构由两个分支组成，一个递归SR分支和一个递归对齐分支。两个分支机构相互协作，逐步获得更好的SR图像和更准确的关键点。 “⊙”和“⊕”分别表示级联和加法。

在此框架中，人脸恢复和关键点定位同时并递归执行。 如果输入人脸的质量更高，则可以通过准确的关键点获得更好的SR图像，因为可以更正确地估计关键点。 这两个过程可以互相促进，并逐步达到更好的性能。 最后，通过足够的步骤，我们可以获得准确的SR结果和关键点热图。
循环SR分支G包括低分辨率特征提取器G₁，递归块GR和高分辨率生成层G₂。 GR包括一个注意融合模块和一个循环SR模块。
类似于SR分支，递归对齐分支包括一个预处理模块A₁，一个递归沙漏模块AR和一个后处理模块A₂。

左边的部分说明了从关键点地图中提取注意力地图的方法。右侧部分显示了注意力融合模块的流程图。输入特征由卷积层扩展。然后在注意图的指导下，通过一系列的组卷积层来提取构件特有的特征。我们将特征与通过频道维度广播的关注图相乘(“⊗”)。最后，将加权特征相加，形成输出。

注意力融合模块是循环SR分支的一部分，因此可以以递归方式将梯度反向传播到SR和对齐分支。 此外，关键点估计不仅可以通过施加在递归对齐分支上的损失来监督，而且可以通过注意力融合模块对FSR结果的修改来进行监督。
在现有的方法中，不同面部部位的特征通常是由共享网络提取的人脸结构没有被充分利用。因此，不同人脸部分的特定结构先验可能被网络忽略。所以，不同的人脸part应该被分开恢复。文中通过一个新的具有结构意识的注意力融合模块实现了上述目标，从而充分利用了关键点L的指导。

3、损失函数

（1）判别器的损失：通过最小化来区分基本事实和超分辨的对应物。

最小化为

（2）感知损失为：

（3）人脸SR和关键点估计的损失函数分别为：

总体损失为：

其中λ^advandλ^Perc分别表示对抗性损失和知觉损失的权衡参数。由于循环对齐模块作为整个框架的一部分进行了优化，因此总体目标还包括由β^Align加权的这一损失项。为了训练面向峰值信噪比的模型DIC，我们设置λ^adv=λ^Perc=0。然后利用完全损失得到感知愉悦模型DICGAN。

4、实验结果

与最先进的FSR方法进行视觉比较。其他的FSR方法可能会在面部的关键部位产生结构扭曲，或者出现不希望看到的伪影。我们提出的DIC和DICGAN方法在处理较大的姿势和旋转变化方面具有显著的优势。定性比较表明，该方法优于其他FSR方法。

NRMSE性能与最新FSR方法的比较。最佳性能和次佳性能分别以红色和蓝色突出显示

不同步骤的直观比较。随着迭代协作，视觉质量和定量测量都逐渐变得更好。