FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors 2019
1. 简介
本文提出借助人脸几何先验信息来辅助人脸超分。因为相比较context,人脸形状更能在LR-HR中保存下来。
而人脸形状的先验信息由人脸分割的五官等,以及landmark点来表示。
相比较直接从LR中提取先验信息,HR中的信息更准确,因此先从LR经过一个粗超分网络coarse SR network。
2.网络步骤
s1.LR经过coarse SR network得到coarse HR
s2.coarse HR送入两个分支,一个分支为fine SR encoder,一个分支为prior information estimation net
s3.将第二步的数据同时送入fine SR decoder。
3.损失
1.重构损失:ground truth HR image,groud Truth prior information
2.GAN 对抗损失:对抗网络C
3.感知损失:分别提取高层次语义特征和预训练网络的特征(例如VGG)
4.总体损失
4.讨论
1.人脸parsing priors 信息比landmark piors信息更能提高效果。
2.全局的parsing 信息比局部信息更有效。
3.更多的landmarks信息更加有效。
5.指标
PSNR
SSIM