SAAN: SEMANTIC ATTENTION ADAPTATION NETWORK FOR FACE SUPER-RESOLUTION

1、引言

主要思想
人脸超分辨率（Face SR）是SR的一个子域，可从低分辨率的人脸图像中重建高分辨率的人脸图像。人脸的先验知识被广泛用于恢复更真实的人脸细节，这将增加网络的复杂性，并在训练和评估阶段引入额外的知识提取过程。
在以前提出的方法中人脸先验知识提取网络是独立训练的，这阻碍了它的更新以提取更多对SR网络有用的信息，也导致在测试阶段需要进行解析(如语义分割)，从而引入了更多的计算量。SR性能取决于先验知识的质量，而从这种非常低分辨率的图像中提取先验知识是很困难的。针对上述问题，本文提出将人脸语义先验提取和人脸SR与注意力自适应模型相结合，设计了一个面向人脸SR的语义注意力自适应网络(SAAN)。
本文贡献
1、这是将语义注意自适应模型引入超分辨率网络的第一种方法；
2、通过SAA模型将超分辨网络和语义分析网络连接起来。因此，通过联合训练，SR网络可以自适应地提取语义先验知识(而不是固定的先验知识)来指导SR过程；
3、该SR网络可以在测试阶段独立工作，无需使用先验知识提取网络(如语义解析网络)，降低了计算成本。

背景：面部的先验知识应用于人脸超分将增加网络的复杂性
方法：采用语义注意自适应（SAA）模型将提取人脸先验知识的能力转移到SR网络中，共同训练人脸语义解析网络和人脸SR网络。也就是一边提取先验一边超分辨。
结论：大量实验表明，我们的SAAN和SAAN-G在质量和效率上都达到了最新水平。

2、网络结构

我们提出将人脸语义先验提取和人脸SR与注意力自适应模型相结合，设计了一个面向人脸SR的语义注意力自适应网络(SAAN)。具体地说，通过采用语义注意自适应(SAA)模型将人脸先验知识提取能力传递给SR网络，对人脸语义解析网络和人脸SR网络进行联合训练。这样，我们的SR网络就可以在测试阶段独立工作，而不需要使用先验知识提取网络。

图1 SAAN网络框架，紫色和绿色线分别表示从RB输出的特征和从SAA输出的特征。

SAAN由三个部分组成：超分辨率(SR)网络、语义解析(SP)网络和语义注意适应(SAA)模型。
整个过程可以概括为：

• （1）对于SR网络：从输入的低分辨率图像ILR中提取浅层特征，该特征将通过我们的剩余语义注意自适应(RSAA)块进行更深一步的处理，并在末端层进行上采样以重建高分辨率图像。
• （2）对于SP网络：以I_HR真实的高分辨率图像作为输入图像，I_SP表示真实人脸语义分析图。我们构建了一个U-Net式的人脸语义分析网络，可以同时提取浅层特征和高层语义特征。
• （3）对于SAA：整体结构如图2。将两个输入依次送入语义注意(SA)模型， 对于SP网络，F_SAAK的输出将被提取到向量AA_SP；对于SR网络，每个RSAA块的输出将被压缩到一个矢量AA_SR。
  

图2 语义注意适应（SAA）模型概述，以往的基于注意力的超分辨率网络在卷积层之间引入了语义注意力模型以适应实际情况。以往的方法不同，提出了一种语义注意力模型，该模型利用语义解析特征图作为人脸SR的先验信息。

3、损失函数

总损失函数由下式给出：

由于基于L1或L2的像素级损失函数通常会导致图像过于平滑，这看起来不如基于GaN的方法那么逼真。我们引入GaN损失和感知损失来生成照片级真实感的HR人脸图像。

SR网络的损失函数L_SR; SP网络的损失函数L_SR; 语义注意适应（SAA）模型的损失函数L_SAA; 对抗损失L_adv; 感知损失L_per。

4、实验结论

使用8比例因子的最新方法进行人脸超分辨率的定量定性结果。

先进的方法在比例尺8上的真实人脸超分辨率结果

面部语义解析的视觉比较。 （a）地面真相HR图像（b）地面真相解析图（c）HR图像的结果（d）SR图像（e）SR图像的结果（f）Bicubic上采样图像（g）Bicubic上采样图像的结果。