Attention-Aware Face Hallucination via Deep Reinforcement Learning

增强学习复杂！！

1、引言

主要思想
人脸超分是一种特定领域的超分辨率问题，其目标是从低分辨率(LR)输入图像生成高分辨率(HR)人脸。当时主流的复原方法都是尝试学习低分辨率图像区域到高分辨率图像区域的映射，而没有对不同区域相关关系进行建模所以我们提出了一种新的注意力感知人脸超分(Attention-FH)框架。具体地说，在每个时间步中，递归策略网络被提出通过结合过去发生的事情来动态地指定新的参与区域。因此，所选区域上的局部增强网络可以利用和更新该状态。Attention-FH方法通过最大化反映整个图像幻觉表现的长期回报，联合学习递归策略网络和局部增强网络。

本文贡献
1、将人脸超分问题描述为马尔可夫决策过程，融合了人脸不同部位之间丰富的关联线索。
2、提出新的方法，通过顺序地寻找注意的局部区域，并从全局的角度考虑它们的上下文依赖性。

背景：原有方法都没有对不同区域相关关系进行建模；
方法：提出了一种新的注意力感知人脸超分框架借助于深度强化学习来顺序地发现被关注的面片，然后通过充分利用图像的全局相互依赖性来执行面部部分增强；
结论：大量实验表明，在姿态和光照变化较大的人脸上，我们的方法明显优于最先进的方法。

2、网络结构

注意力感知人脸超分框架由两个网络组成：一个是递归策略网络，用于动态确定当前步骤中需要增强的特定人脸部分；另一个是局部增强网络，用于进一步增强选定的人脸部分。

在Attention-FH框架中顺序地发现和增强面部部位。在每个时间步，该框架根据过去的超分结果指定一个参与区域，并通过考虑整个人脸的全局视角来增强该区域。红色实心边界框指示每个步骤中最新感知的面片，蓝色虚线边界框指示所有先前增强的区域。我们采用序列末尾的全局奖励来驱动强化学习范式下的框架学习。

在每一步，输入为之前的全图增强结果，使用策略网络选取全图的一块区域，并通过局部增强网络进行图像增强，增强的结果将拷贝并覆盖至原图，并作为下一步的输入。重复该步骤T次，得到最终的复原结果。通过该框架面部不同部位之间丰富的相关性线索可以明确地合并到每一步的局部增强过程。可以通过考虑眼睛区域的更清晰版本来改善嘴部区域的增强。
该框架借助于深度强化学习来顺序地发现被关注的面片，然后通过充分利用图像的全局相互依赖性来执行面部部分增强。根据人脸图像自身的特点，也就是要考虑到人脸图像在模糊、姿势、光照和人脸外观上的不同特征，自适应地为每幅人脸图像定制一条最优搜索路径在每个时间步中，递归策略网络被提出通过结合过去发生的事情来动态地指定新的参与区域。
最后根据人脸超分的整体性能来定义强化学习的全局回报，从而驱动递归策略网络的优化。并且在强化学习(RL)过程之后优化递归策略网络，该强化学习过程可以被视为具有长期全局奖励的最大化的马尔可夫决策过程(MDP)。强化学习？？

递归策略网络和局部增强网络的网络架构。

3、实验结果

比例因子为4的LFW-funneled的定性结果