注意力恢复和地标估计之间的迭代协作实现深度面部超级分辨率（读书笔记）

Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation 2020 CVPR

： 注意力恢复和地标估计之间的迭代协作实现深度面部超级分辨率

1、引言

1.1 摘要

主要思想

背景：基于深度学习和人脸先验的工作已经能成功的超分辨 严重退化的人脸图像。

痛点：现有方法没有充分利用先验知识，因为诸如地标和分量图之类的人脸先验信息总是由低分辨率或粗超分辨率图像估计，这可能不准确，从而影响恢复性能。

解决：提出了一种深度人脸超分辨率（FSR）方法，该方法在两个递归网络之间进行迭代协作，分别关注人脸图像恢复和路标估计，两个过程之间的迭代信息交互提高了彼此的性能。在每个循环步骤中，恢复分支利用地标的先验知识来生成更高质量的图像，从而促进更准确的地标估计。此外，设计了一个新的注意力融合模块，以加强地标地图的引导，其中面部组件单独生成并集中注意力，以更好地恢复。

1.2 介绍

背景： An end-to-end trained network [5] introduces facial landmark heatmaps and parsing maps 有一些局限性。

一方面，他们难以估计准确的先验信息，因为定位和对齐过程应用于低质量且远离最终结果的LR输入图像或粗SR图像。因此，给定不精确的先验，SR的指导可能是错误的。

另一方面，大多数方法只是将恢复和先验预测优化为多任务学习问题，并通过简单的级联操作合并先验信息。然而，由于可能无法充分捕捉和利用不同组件的结构变化，因此此类指导不够直接和明确。因此，应该探索更强大的方案来利用面部先验信息。

提出方法： a deep iterative collaboration method for face super-resolution 人脸超分辨率的深度迭代协作方法。

该架构由两个分支组成，一个循环SR分支用于人脸恢复和一个循环校准分支用于地标估计。两个分支相互协作，逐步获得更好的SR图像和更精确的界标

 ：concatenation  级联

“⊕” ： addition  加法

贡献：

①提出 人脸超分辨率的深度迭代协作方法，与以往不同：让人脸识别和对齐过程相互促进

②提出  在每个循环步骤中，每个分支的先前输出都被馈送到下一个步骤中的另一个分支，以便两个分支相互协作以获得更好的性能

③提出  一个新的注意融合模块（attentive fusion module）来整合地标信息，而不是拼接操作（concatenation operation）

首先，作者建立了一个递归架构&