PSFRGAN论文阅读笔记

题目：Progressive Semantic-Aware Style Transformation for Blind Face Restoration

中文：渐进式语义感知样式转换，用于盲脸修复

摘要

• 脸部修复在脸部图像处理中很重要，并且近年来已被广泛研究。但是，先前的工作**【缺点】通常无法为现实世界中的低质量（LQ）人脸图像生成合理的高质量（HQ）结果。在本文中，我们提出了一种新的渐进式语义感知转换框架，称为PSFR-GAN**，用于面部修复。具体而言，我们通过语义感知样式转换将LQ人脸图像的恢复公式化为多尺度渐进恢复过程，而不是使用先前的编码器-解码器框架。给出一对LQ人脸图像及其对应的解析地图时，我们首先生成输入的多比例金字塔，然后在语义感知的样式转换通道中从粗到细逐步调制不同比例的功能。与以前的网络相比，提出的PSFR-GAN充分利用了来自不同比例输入对的语义（解析图）和像素（LQ图像）空间信息。另外，我们进一步引入了语义感知风格损失，该算法分别计算每个语义区域的特征风格损失，以改善面部纹理的细节。最后，我们预训练了一个面部分析网络，该网络可以从现实世界的LQ面部图像中生成体面的分析图。实验结果表明，经过合成数据训练的模型不仅可以为合成LQ输入产生更多的高分辨率高分辨率结果，而且与最新方法相比，可以更好地推广到自然LQ人脸图像。可以在https://github.com/chaofengc/PSFRGAN上找到代码。