论文学习笔记（12）：Does face restoration improve face verification?

Abstract

这篇文章对现有的人脸修复及人脸验证方法进行了综述，旨在了解人脸重建方法对人脸验证的作用。
本文提出了一个定量及定性的benchmark，并在真实监控图像的背景下将其应用于8种人脸修复方法及6种人脸验证方法，对观察到的优劣进行了概述。
实验表明，每种修复方法对人脸验证方法的影响不同，只有不到一半的人脸修复方法对人脸验证有用。此外，一些定性评价较差的人脸修复方法对人脸验证帮助最大，以及当分辨率降低时人脸验证效果也会较差。

1. Introduction

现有的人脸图像修复的方法大多都是定性评价的，因为在进行定量评价时大多用的是PSNR，但PSNR需要一个ground truth图像，而这往往是无法获取的。除此之外，大多数的修复方法都是在有人工噪声的图像上进行测试的。
本文从两个相关目标着手进行人脸识别及人脸验证（FRV）：

1. 在低分辨率及各种姿势等条件下的人脸验证
2. 定性及定量的学习人脸修复是如何提高人脸验证的
   本文在实验中使用原始低质量人脸及修复后的人脸图像对人脸验证进行测试，比较了使用不同人脸图像在人脸验证上的结果差异。

2. Related work

3. Method selection and comparison

对于本文使用的一些代表性的超分方法，这里从实际应用的角度出发制定了相关的标准，如下图所示：
使用5-point的李克特量表（--,-,+/-,+,++）对上图所示的这些标准（除了input type和replicability）进行排名，--表示该方法在特定标准上得分较低，++表示得分较高。而input type用（S）和（M）表示输入图像的类型为单幅图像/多幅图像；Replicability则是二进制的（yes/no）。
经过这些标准筛选后，留下了7种人脸验证方法，6种人脸识别方法，如下图所示。

3.1 Mixing FSRNet with the original image

3.2 Implementation of Face Verification

为了对各类方法进行实验，本文使得所有方法具有统一的API，且创建了一个pipeline使得对于所有使用本文API的人脸验证方法都适用。

3.3 Databases

本文使用了四个数据集：

1. Terrorists：其中包括10个人的20张人脸图像。每个人有2张人脸图像：（A）非常低质量的人脸（45X45）（B）较高一点质量的人脸（128x128）。图片来自于我们对上传在Youtube 的IS组织的视频进行人脸识别得到的。
2. Terrorists restoration results：共80张图像，来自于我们的8种人脸修复方法，每种方法都能得到10张结果图像。
3. LFW：13233张图像
4. Lena：2张合成退化的lena图，分别来自bicubic下采样及运动模糊。

4. Results

如上图所示，我们将pipeline分为3个部分：

1. 在低分辨率数据集上对6种人脸验证方法进行实验
2. 对8种人脸修复方法进行实验
3. 在经过人脸修复后的数据集上对人脸验证方法重新进行实验
   最后，本文在一个人的不同面部位置的多张照片上对人脸验证方法的鲁棒性进行了测试。

注：对于table3中的14种方法，每种方法的参数设定都是固定的，并且都是源自于各自作者的设置。

4.1 人脸验证

4.2 人脸修复

4.3 在人脸修复后进行人脸验证