Identity-Aware Face Super-Resolution for Low-Resolution Face Recognition

1、引言

主要思想
尽管近年来基于深度学习的面部识别技术取得了惊人的成绩，但低分辨率（LR）面部识别仍然具有挑战性。现存的人脸超分模型直接应用于低分辨率人脸识别(LRFR)任务通常会严重降低识别性能，因为它们是针对结构信息清晰、身份信息丰富的高分辨率(HR)人脸进行训练的，而不是针对缺乏此类信息的低分辨率(LR)人脸。这些研究主要集中在在人类视觉感知中生成HR人脸，而不是显式地恢复与身份相关的细节。
我们通过提出一个识别身份的面部超分辨率网络来恢复LR面部的身份信息来解决此问题。为了有效地学习识别身份的特征，将身份特征明确地分解为两个正交分量：将身份特征投射到==超球面空间（hypersphere space）==的特征的大小和角度。我们表明特征的大小与面部的质量有关。所提出的方法在恢复与身份相关的纹理方面具有优势，有利于恢复身份信息以进行识别。大量实验证明了该算法在LR人脸识别中的有效性。

不太明白hypersphere space？？？

身份嵌入学习的不同嵌入策略说明：(A)基于角度的嵌入策略[28]；(B)所提出的方法；©在余弦度量空间中，幅值越小的特征对特征扰动越敏感。

本文贡献

• 提出一种可识别身份的人脸SR网络，该网络不仅可以从LR人脸重构出高保真的HR外观，而且还可以恢复人脸的身份信息。
• 提出了一种新颖的特征去耦策略，以充分利用HR-LR人脸对的角度和幅度差异，从而有效地学习识别身份的特征。
• 提出了一种新颖的幅度损失，以减轻重建的和原始的HR脸部之间的特征的幅度差异。

背景：人脸超分模型直接应用于低分辨率人脸识别(LRFR)任务通常会严重降低识别性能；
方法：提出了一种身份感知的人脸SR网络，有效地利用身份信息来指导训练过程，可以从LR人脸重建出高保真的HR外观，而且可以恢复人脸的身份信息；
结论：所提出的方法在恢复与身份相关的纹理方面具有优势，有利于恢复身份信息以进行识别。大量实验证明了该算法在LR人脸识别中的有效性。

2、网络结构

我们提出了一种身份感知的人脸SR网络流水线，旨在重建一个高保真的、身份感知的HR人脸。
整个网络包含两个子模块：人脸识别(FSR)模块和身份感知嵌入(IAE)模块。FSR模块旨在从LR输入I_LR产生HR人脸I_SR的幻觉，而IAE模块将重构的HR人脸I_SR和原始HR人脸IR投影到身份特征空间。在特征空间中，将身份特征分解为两个部分：特征的角度和大小。然后设计损失函数来指导网络训练，共同优化重构的HR人脸的视觉逼真度和身份信息。该网络的目标是在像素空间中重建一个高保真的HR人脸，同时最小化重建的HR人脸与其原始HR人脸之间的角度和幅值差异。
FSR模块主要由三种类型的块构成：卷积块、残差块和上采样块。
IAE模块使用预先训练的LightCNN模型提取输入人脸的身份特征，然后对身份特征进行解缠，以便更好地进行身份嵌入学习。

上半部分展示了所提出的身份感知人脸SR网络，该网络由一个人脸超分辨率网络(记为G)和一个身份感知嵌入模块组成，该模块包含一个特征提取器(记为F)。G从LR输入人脸重建HR人脸，F提取重构HR人脸的身份特征，然后将特征解缠到特征的角度和大小，从而有效地嵌入身份。下面的管道显示了所提出的FSR网络的体系结构。

3、损失函数

为了有效地利用身份信息来指导训练过程，身份特征被显式地分解成两个正交分量：特征的角度和大小。然后利用余弦度量函数作为角度相关损失，直接指导身份特征学习。
余弦度量损失：对于一个LR人脸输入I ^LR_i，我们在角度空间中计算重建的HR人脸I^SR_i的特征与其对应的地面真实I^HR_i之间的余弦距离cosθ如下：

幅值损失：LR脸不仅扩大了HR-LR对特征之间的角度差异，还增加了特征的幅值差异。然而，余弦度规损失只涉及角度差异在超球单位度量空间中，幅值较小的特征对特征扰动更敏感。为了充分利用HR人脸监督信息的大小来学习稳健的身份表征，我们提出了一种更加关注重建人脸质量的幅值损失，以缓解F^SR I和FHR I特征之间的幅值差异，定义如下：

对于人脸SR网络的训练，我们使用欧几里德距离来度量超分辨率网络的内容损失，以保证重建的视觉逼真度。

总体损失函数：用于训练所提出的身份感知人脸SR网络的总体损失函数由像素损失、余弦度量损失和幅值损失组成：

4、实验结果

我们在LFW[8]和CelebA[32]上对所提出的方法进行了评估，这两个基准分别用于无约束环境下的人脸识别和人脸SR。整个培训过程包括两个阶段。首先，由于重建的HR人脸在训练初期质量太差，不能有效地学习身份感知特征，所以我们只训练像素级损失的FSR模块。我们从VGGFace2[30]中随机抽取约19万张人脸图像作为训练集，每个身份选取22张人脸。其次，通过对像素丢失和身份感知丢失的联合监控，对FSR模块进行了微调。我们使用在整个VGGFace2上训练的预先训练的LightCNN模型[6]作为身份特征提取器，并固定参数以专注于FSR模块的身份感知特征学习。

该方法与基于不同监督的几种有代表性的方法进行了比较，包括用于LRFR任务的SR-Net、SRGAN[20]、SR+ou[19]、SR+Angel[28]。在比较的方法中，SR-Net表示只训练像素级损失指导的FSR网络。相反，SRGAN强调使用对抗性损失[34]。在SR+ou中，身份感知损失直接由特征对之间的欧几里德距离计算，而SR+Angel将特征解耦为角度部分和幅值部分，仅利用角度差异作为身份信号。