FSRNET 人脸超分

FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors  2019

1. 简介

本文提出借助人脸几何先验信息来辅助人脸超分。因为相比较context，人脸形状更能在LR-HR中保存下来。

而人脸形状的先验信息由人脸分割的五官等，以及landmark点来表示。

相比较直接从LR中提取先验信息，HR中的信息更准确，因此先从LR经过一个粗超分网络coarse SR network。

2.网络步骤

s1.LR经过coarse SR network得到coarse HR

s2.coarse HR送入两个分支，一个分支为fine SR encoder，一个分支为prior information estimation net

s3.将第二步的数据同时送入fine SR decoder。

3.损失

1.重构损失：ground truth HR image,groud Truth prior information

 

2.GAN 对抗损失：对抗网络C

 

 

3.感知损失：分别提取高层次语义特征和预训练网络的特征（例如VGG)

 

4.总体损失

 

4.讨论
 

1.人脸parsing priors 信息比landmark piors信息更能提高效果。

2.全局的parsing 信息比局部信息更有效。

3.更多的landmarks信息更加有效。

 

5.指标

PSNR

SSIM