基于DL的人脸超分辨率(FSR)任务综述

一、任务描述

从低分辨率的人脸图像中生成高分辨率的人脸图像。

二、数据来源

利用已有的高分辨率（HR）人脸图像，采用一些方法降低图像的分辨率，得到对应的低分辨率（LR）人脸图像。LR图像用于网络的训练，HR图像用于监督，网络生成的图片记为SR（super resolution），损失函数可以基于评估HR图像和SR图像之间的差异构建。

三、常见的评价指标和损失函数

1、评价指标：

（1）PSNR（Peak Signal to Noise Ratio）峰值信噪比

（2）Structural Similarity Index (SSIM) 结构相似性指数

（3）Learned Perceptual Image Patch Similarity (LPIPS)学习到的感知图像块相似性

（4）Fréchet Inception Distance (FID)

（5）Natural Image Quality Evaluator (NIQE)

（6）Mean Opinion Score (MOS)

2、loss function 损失函数

（1）Pixel-wise Loss 像素级别的loss：L1、L2等等。

（2）SSIM Loss

（3）Perceptual Loss

（4）Adversarial Loss

（5）Cycle Consistency Loss

（6）Cycle Consistency Loss

四、人脸图像的特征

（1）先验信息Prior Information

such as facial landmarks, facial heatmaps and facial paring maps.

We can expect to recover more reasonable target face images if we incorporate these prior knowledge to regularize or guide the FSR models.

先验信息对于指导FSR任务是有用的，如果我们结合这些先验知识来规范化或指导FSR模型，我们可以期望恢复更合理的目标人脸图像。

（2）属性信息Attribute Information

such as gender, hair color, and others,

In FSR, because of one-to-many maps from LR images to HR ones, the recovered face image may contain artifacts and even wrong attributes.

从LR中恢复的SR图像可能带有与ground truth(LR)不一致的属性。

（3）身份信息Identity Information

This type of information is always used for keeping the identity consistency between the super-resolved result and the ground truth. On the one hand, the person should not be changed after super-resolution visually。identity also offers high-level constraints to the FSR task。

身份信息在FSR任务后不应该被改变，并且FSR任务应当促进人脸识别的表现；身份信息为FSR任务提供了很高的约束。

五、FSR METHODS

Here, according to the type of face image special information used, we divide FSR methods into five categories: general FSR, prior-guided FSR, attribute-constrained FSR, identity-preserving FSR, and reference FSR.

1、General FSR

一般的FSR方法主要集中在设计一个有效的网络，并在没有任何面部特征的情况下，利用有效的网络结构进行FSR。

We divide general FSR methods into four categories: basic CNN-based methods, GAN-based methods, reinforcement learning-based methods, and ensemble learning-based methods.

基于CNN的方法、基于GAN的方法、基于强化学习的方法、基于集成学习的方法。

（1）基于CNN的方法

Global methods全局方法、Local methods局部方法、Mixed methods混合方法；

（2）基于GAN的方法

general GAN-based methods、Generative prior-based methods

（3）（4）

总结：在这里，我们讨论了一般 FSR 方法中这些子类别之间的优缺点。 从全球角度来看，基于 CNN 和基于 GAN 的方法之间的区别在于对抗性学习。 基于 CNN 的方法倾向于利用像素级损失，从而导致更高的 PSNR 和更平滑的结果，而基于 GAN 的方法可能会恢复视觉上令人愉悦的面部图像，具有更多细节但 PSNR 更低。 他们每个人都有自己的优点。 与它们相比，基于集成学习的方法可以通过整合多个模型来结合它们的优点来弥补它们的不足。 然而，集成学习不可避免地会导致内存、计算量和参数的增加。 基于强化学习的方法通过顺序搜索恢复注意力局部区域，并从全局角度考虑补丁的上下文依赖性，这带来了性能的提高，但需要更多的训练时间和计算成本。