目前,监控场景下的极低分辨率人脸识别是一个非常小的研究领域,可用的数据集非常有限。其中SCface、Point and Shot、IJB-S、UCCSface、QMUL Survface和QMUL Tinyface是用于无约束极低分辨率人脸识别的可用基准数据集。
异构人脸识别基准测试数据集(都包含高分辨率和本地低分辨率图像):SCface、Point and Shot、UCCSface和IJB-S;
同质人脸识别数据集(大量的图像和身份):QMUL-Survface和QMUL-TinyFace。
PS:Source:数据获得的场景;
Qquality:可用图像的类型;(HR——高分辨率图像,LR——极低分辨率图像,blur——模糊的低分辨率图像;
Static image/video:指示数据集是否具有静态图像,是否还包含视频数据;
数据集链接:
1、异构人脸数据集
1.1 SCface
SCface图像是在不受控制的室内环境中使用五个不同质量的视频监控摄像机拍摄。该数据集包含130名受试者的4160张静态图像。
1.2 Point and Shoot
Point and Shoot包括静止图像和视频。静止照片有9376张,共293人。该数据集还包括2802段265人的简单动作视频,这265人静态图像293人的子集。
https://www.nist.gov/programs-projects/point-and-shoot-face-recognition-challenge-pasc
1.3 UCCSface
UCCS展示了可操作的人脸识别场景的特性。数据集包含来自308个人的6337 张图像。使用照相机获取图像。摄像机放置在办公室内,聚焦在离办公室100m处的室外人行道上,产生18m像素的场景图像。图像以100ms的间隔拍摄,产生大约 10 张不同焦点的照片,每个特定间隔有多个视图和表情。
https://vast.uccs.edu/Opensetface/
1.4 IJB-S
IJB-S数据集包含202个身份的静态图像和视频。该数据集收集时共有350个监控视频,5656个注册图像和202个注册视频。
2、同质人脸数据集
2.1 QMUL-Survface
QMUL-Survface是以开发低分辨率人脸识别构建的。该数据集包含 463507 张人脸图像,15573 个不同身份。由于在开放空间和不受限制的时间内出现任意大量的非目标人员,因此在开放式设置中人脸识别通常更困难。除了低分辨率问题,该数据集还有其它不受控制的协变量和噪声,例如照明变化、表情、遮挡、背景杂波和压缩伪影。所有这些因素都会在不同程度上导致推理的不确定性。
2.2 QMUL-TinyFace
QMUL-TinyFace数据集有169403张原生低分辨率人脸图像(平均 20×16 像素),来自5139个标记的身份,用于1:N识别测试。TinyFace中的所有低分辨率人脸都是从公共网络数据中收集的,这些数据是在姿势、光照、遮挡和背景不受控制的条件下采集的。
总结
极低分辨率的人脸识别问题有两种情况:同质和异质。在同质人脸识别中,我们匹配来自同一个人脸的图像源域。此时识别的图像和其余参考图像均来自无约束低分辨率人脸域。在异构人脸识别中,我们将来自不同领域的图像进行匹配:用于识别的低分辨率图像与参考的高分辨率库图像。因此,从监控摄像机拍摄的VLR探针图像和在受控环境中拍摄的高分辨率参考画廊图像之间就存在域间隙。用于识别的低分辨率图像的分辨率为32*32或更低,参考库高分辨率图像的分辨率为100*100或更高。但是由于在不同条件下识别的图像和参考的分辨率图像之间存在域差异,异构人脸识别是最难解决的。