人脸检测技术现状及3D检测调研

 

问题描述

人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态。

人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展已日趋成熟。今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视频检测等方面有着重要的应用价值。

人脸检测是一个复杂的具有挑战性的模式检测问题，其主要的难点有两方面。

一方面是由于人脸内在的变化所引起：

• 人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；
• 人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；

另外一方面由于外在条件变化所引起：

• 由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大
• 光照的影响，如图像中的亮度、对比度的变化和阴影等。
• 图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。

研究现状

2.1

国外对人脸检测问题的研究很多。

2015年以前，比较著名的有：MIT、卡耐基梅隆大学、清华大学、中科院计算所、自动化所、南京理工大学、北京工业大学。

近几年在各类比赛及实际落地应用中有较大影响力的有：谷歌，斯坦福，深圳大学，face++（旷视科技），商汤科技，腾讯，阿里，百度。

其中百度的人脸检测2018年3月的wider face数据集上三个级别的成绩都是第一。所用算法PyramidBox：A Context-assisted single shot face detector。

2.2人脸检测常用数据集

         和人脸相关的数据集非常多，常用列表如下：

■Annotated Database (Hand, Meat, LV Cardiac, IMM face) (Link)
■AR Face Database (Link)
■BioID Face Database (Link)
■Caltech Computational Vision Group Archive (Cars, Motorcycles, Airplanes, Faces, Leaves, Background) (Link)
■Carnegie Mellon Image Database (motion, stereo, face, car, ...) (Link)
■CAS-PEAL Face Database (Link)
■CMU Cohn-Kanade AU-Coded Facial Expression Database (Link)
■CMU Face Detection Databases (Link)
■CMU Face Expression Database (Link)
■CMU Face Pose, Illumination, and Expression (PIE) Database (Link)
■CMU VASC Image Database (motion, road sequences, stereo, CIL’s stereo data with ground truth, JISCT, face, face expressions, car) (Link)
■Content-based Image Retrieval Database (Link)
■Face Video Database of the Max Planck Institute for Biological Cybernetics (Link)
■FERET Database (Link)
■FERET Color Database (Link)
■Georgia Tech Face Database (Link)
■German Fingerspelling Database (Link)
■Indian Face Database Link[/url])
■MIT-CBCL Car Database (Link)
■MIT-CBCL Face Recognition Database (Link)
■MIT-CBCL Face Databases (Link)
■MIT-CBCL Pedestrian Database (Link)
■MIT-CBCL Street Scenes Database (Link)
■NIST/Equinox Visible and Infrared Face Image Database (Link)
■NIST Fingerprint Data at Columbia (Link)
■ORL Database of Faces (Link)
■Rutgers Skin Texture Database (Link)
■The Japanese Female Facial Expression (JAFFE) Database (Link)
■The Ohio State University SAMPL Image Database (3D, still, motion) (Link)
■The University of Oulu Physics-Based Face Database (Link)
■UMIST Face Database (Link)
■USF Range Image Data (with ground truth) (Link)
■Usenix Face Database (hundreds of images, several formats) (Link)
■UCI Machine Learning Repository (Link)
■USC-SIPI Image Database (collection of digitized images) (Link)
■UCD VALID Database (multimodal for still face, audio, and video) (Link)
■UCD Color Face Image (UCFI) Database for Face Detection (Link)
■UCL M2VTS Multimodal Face Database (Link)
■Vision Image Archive at UMass (sequences, stereo, medical, indoor, outlook, road, underwater, aerial, satellite, space and more) (Link)
■Where can I find Lenna and other images? (Link)
■Yale Face Database (Link)
■Yale Face Database B (Link)

 

重点介绍两个数据集。

非约束环境人脸检测数据库FDDB，“该数据库目前已接近饱和，可以看做是资格赛”。一下是几张该数据库的截图。

 

目前难度最大的数据库：wider face。Wider face 总共有32203张图像，393703个标注人脸，各种难点比较全面：尺度，姿态，遮挡，表情，化妆，光照。

 

在2017年下半年，该数据库上的查全率：0.935/0.921/0.858

今年百度的成绩：0.961/0.95/0.889（三月份）

 

2.3 3D人脸检测

         2.31异质人脸图像合成及其应用研究（西安电子科技大学2016）. 其对香港中文大学人脸素描标准数据库（CUFS）的识别准确率达到了99.67%。也看到有做近红外、远红外人脸检测，但是没有见到影响力大的论文，所用方法基本就是等同于可见光的图像来处理。

         2.32 3D人脸识别。目前最好的成绩，苹果face id。百万分之一。苹果自己的10亿人脸数据库。

         2.33 3D目标检测。

kitti数据集及3d-object 竞赛前5名算法，及近两年顶会部分相关论文。

1. Learning Rich Features from RGB-D Images for Object Detection and Segmentation(干净背景小物体检测)
2. 3D Object Proposals for Accurate Object Class Detection（新的proposals方法）
3. Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images（室内环境，讨论了为什么2D检测表现比3D检测效果好）
4. Learning Cross-Modal Deep Representations for Robust Pedestrian Detection（行人检测，提到了温度深度传感器？？）
5. yolo 3d
6. Amodal Detection of 3D Objects: Inferring 3D Bounding Boxes from 2D Ones in RGB-Depth Images
7. VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
8. Aggregate View Object Detection with Feature Pyramid Network
9. Frustum Point Nets for 3D Object Detection from RGB-D Data
10. Multi-View 3D Object Detection Network for Autonomous Driving