PSFRGAN论文阅读

题目：Progressive Semantic-Aware Style Transformation for Blind Face Restoration

翻译：《渐进式语义感知风格变换在盲脸修复中的应用》
解决的问题 ：以往的工作不能为真实世界的低质量(LQ)人脸图像生成可信的高质量(HQ)结果
提出的框架：渐进式语义感知风格转换框架 progressive semantic-aware style transformation framework，名为PSFR-GAN
创新点：通过语义感知风格转换，将LQ人脸图像的恢复过程定义为一个多尺度渐进恢复过程，而不是像以前的方法那样使用编码器解码器框架
具体过程：
1、首先生成输入的多比例金字塔（multi-scale pyramid of the inputs）
2、然后采用语义感知的风格传递方式，从粗到细逐步调整不同尺度特征。与以往的网络相比，该网络充分利用了不同尺度输入对的语义(解析图)和像素(LQ图像)空间信息。
3、引入了语义感知的风格损失算法，该算法分别计算每个语义区域的特征风格损失。
4、通过对人脸解析网络进行了预训练，可以生成像样的来自真实世界的LQ人脸图像的解析图。

网络结构

它从一个学习常数开始，大小为C * 16*16，表示为F0，其中C是通道大小。
然后，F0通过几个上采样残差块。最后一个特征F6通过一个单一的ToRGB卷积层，并预测最终输出。
将第i个残差块的输出特征定义为Fi，Fi表示如下：

其中，$\Phi$_UP为上采样残差卷积块，$\Phi$(.)为风格转换块，是我们框架的关键部分，如图。

输入为(I_p ， I_L)，即LQ图像和解析映射，输入前通过双边插值被调整到与Fi相同的大小。
每个风格转换块从对应的输入对中学习当前Fi的样式转换参数yi。 $\Psi$是一个由几个卷积层组成的轻量级网络,µ（·）和σ（·）是特征的均值和标准差。

与采用空间不变样式的StyleGAN相比，计算与Fi大小相同的空间自适应风格参数yi。这有助于充分利用来自IL的空间级颜色和纹理信息，以及来自IP的形状和语义指导。使用预先训练好的人脸解析网络(FPN)从LQ输入IL中生成IP。

损失函数

(1)语义感知风格损失 它分别计算每个语义区域的gram矩阵损失。使用了VGG19的relu3_1, relu4_1和relu5_1层来计算Lss.

G（·）计算具有语义标签掩码Mj的特征φi（·）的gram矩阵，如下所示

(2)重构损失 它是像素和特征空间均方误差(MSE)的组合，旨在约束网络输出IˆH接近真实值IH。
(3)对抗损失

之前读过的另外两篇关于图像修复的CVPR2021论文：
GFP-GAN
GPEN