论文学习笔记（13）：Face re-identification challenge: Are face recognition models good enough?

Abstract

这篇文章是关于Face re-ID的，也就是在无约束监控人脸图像中，在空间和时间下对人身份进行追踪的问题。
为了促进Face re-ID的发展，这篇文章提出了一个大规模的监控下Face re-ID标准数据集——SurvFace。除此之外，通过实验验证我们发现，SotA的人脸识别算法在face Re-ID上性能较差，且在实际情况中常见的open-set问题将导致Face Re-ID问题的研究更加困难。

1. Introduction

对于行人Re-ID问题，人脸特征相对于其他身份特征（eg：衣着）来说更加稳定也更加易获取，由此被视为最可靠的视觉线索之一。本篇文章关注的就是在没有先验知识的情况下，通过无约束的监控人脸图像，在分布式无重叠监控下对人进行追踪。
当前face Re-ID问题没有得到发展的重要原因在于：没有一个大规模的监控face Re-ID标准数据集。
例如我们有关于672,057个face id的4,753,320张人脸图像的HR数据集MegaFace2，以及当前最大规模的监控人脸数据集UCCS，但UCCS仅有来自1732个face ID的100,000张人脸图像（且这个数据集是semi-native的）.
这篇文章的展示了：

1. 在大规模HR图像数据集上训练出的StoA人脸识别模型在监控face Re-ID上表现较差
2. 人工合成的LR图像上的face Re-ID上的性能不能影响在真实LR人脸上的结果
3. 超分模型除了需要考虑网络数据及监控数据上的域分布转移之外（？），还存在的问题是缺少像素对齐的LR-HR图像对

基于以上问题，本文提出了一个大规模现实监控图像问题，并作出了以下几点贡献：

1. 构造了一个大规模face Re-ID数据集 SurvFace，其中包括了关于15,573个身份的463,507张人脸图像。
   SurvFace是通过使用深度人脸检测模型对不同地点和多个国家的不同监测场景下的公共领域的17个person re-ID数据集进行数据挖掘，构建了一个大的带标记的监控人脸池； 这个数据集与传统FR数据集相比，其提供跨位置cross-location（跨监控视图）的ID标签注释，以及对于监控场景更真实的open-set协议

（图为上文提到的17个数据集）

2. 现有的FR模型没有在大规模监控face Re-ID上测试过，因此本文对一些具有代表性的FR模型在SurvFace上进行了测试评估；（与常见的close-set相反，open-set更多地考虑到了数据库中没有匹配的搜索，更尊重现实的大规模监控搜索场景）
3. 同时把超分模型及FR模型在SurvFace上进行测试，并比较了不同数据集（eg：MegaFace、UCCS）上模型的性能表现

2. Related work

2.1 人脸识别问题的研究现状

1. FERET数据集：有严格的图像setting，且只手机模拟监控下的图像
2. UCCS数据集：图像是长距离无约束的，但只使用了一个HR摄像机，因此会提供更多的面部细节与更少的相关角度下的视图；除此之外，UCCS数据集的规模也较小。

2.2 人脸识别方法

对于人脸识别来说，监控人脸的主要问题在于：

1. 监控人脸包含的人脸信息较少，且通常是低分辨率质量较差的
2. 深度模型在跨域问题上表现较差
3. face re-ID本质上是一个open-set问题，其需要模型不考虑其他的干扰项

低分辨率人脸识别问题（LRFR）可以分为两类： 1. 超分 2. 分辨率不变学习
超分下的LRFR又可以分为： 1. 像素级别的视觉保真 2. 身份识别；现有的模型都更关注图像外观上的增强
分辨率不变学习主要关注的是：== 1. 分辨率不变特征 2. 跨分辨率结构转换==

现有这些方法的局限性主要在于：

1. 人脸数据通常是close-set下的小规模/人工数据
2. 由于基于人工特征与线性模型，泛化性较差
3. 需要像素对应的HR-LR对

2.3 图像超分

用于人脸重建的图像超分方法，往往通过LR-HR人脸对传递HR图像的高频细节。

2.4 行人re-ID

现有的行人Re-ID方法基于的假设是：整个人的视觉外观是固定的。因此，使用人脸外观将会更加稳定。

2.5 监控人脸re-ID

最近的一项基于深度模型进行监控face re-ID的研究通过表示学习及聚类进行身份识别，但这项研究也是基于有约束的人脸图像。

3. Face re-ID challenge

3.1 SurvFace dataset

下图为构建的SurvFace数据集中的部分人脸图像

SurvFace包括了关于15,573个身份的463,507张人脸图像，且图像在姿势、照明、运动模糊、遮挡及背景的变化上不受约束；其中，10638（68.3%）人中的每个人都与2张人脸图像相关。
本文采用TinyFace detector自动提取人脸，但由于较差的图片质量及一些极端地头部姿势，并非全部的身份信息都能被识别出来（见表15573/20224）；
对于人脸数据的清理及标注，本文使用了两个独立的注释器以及随后的相互交叉检验，将CHUK-SYSU数据集里的所有非监控图片清理掉；基于数据集中没有重叠id的假设，本文使用了来源里已有的人员label。

3.2 评价方案

对于数据集的数据划分，本文将均有2张人脸图像的10638个id分成两半，一半（5319）用于training，另一半（5319）加上剩余的单张人脸图像的4935个id（共10254个id）用于test

4. Experimental evaluations

本文在实验中在流行的FR模型上，分别对监控人脸及超分人脸进行实验评估。其选用了三个代表性模型：CentreFace、VggFace、SphereFace，来评估face re-ID的性能；以及三个超分算法：SRCNN、VDSR、LapSRN，来衡量face re-ID在超分后的监控人脸图像上的性能。
特征向量在face re-ID前还需要先进行$L_2$归一化处理（等价于使用余弦相似度）。

4.1 监控人脸

三种训练策略：

1. 仅使用SurvFace数据集
2. 仅适用CASIA数据集
3. 先在CASIA上对FR模型进行预训练，然后在SurvFace上进行fine-tune
   训练后的模型需要经过欧式展开（？没懂），并且在training和test中都对人脸图像进行bicubic插值==（注：这种插值不会影响底层分辨率，也就是视觉信息）==

4.2 超分后的监控人脸

在对原始低分辨率监控人脸进行face re-ID评估后，本文又对超分后的人脸进行了试验评估，目的在于探究超分方法对于人脸识别问题中低分辨率的效果。