人脸识别综述

Deep learning for face

主要有已下几个方向：

Deep face attribute （人脸属性）：如heavy eyebrows（浓眉）、大眼等。

       http://www.ee.cuhk.edu.hk/~xgwang/papers/luoWTiccv13a.pdf

Deep face parsing  （人脸解析）：

       http://www.ee.cuhk.edu.hk/~xgwang/papers/luoWTcvpr12.pdf

Deep face verification （人脸验证）：

       http://www.ee.cuhk.edu.hk/~xgwang/papers/sunWTiccv13.pdf

Deep face alignment（人脸对齐）：可利用关键点完成人脸对齐。

       http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm

Deep face recognition （人脸识别）：

http://mmlab.ie.cuhk.edu.hk/projects/zhuLWTiccv2013FIP/index.html

数据库角度

以下是可以下载的公开的人脸数据集：

1）人脸检测

数据库	描述	用途	获取方法
FDDB	2845张图片中的5171张脸	标准人脸检测评测集	链接
IJB-A		人脸识别，人脸检测	链接
Caltech10k Web Faces	10k+人脸，提供双眼和嘴巴的坐标位置	人脸点检测	链接

2）人脸表情

数据库	描述	用途	获取方法
CK+	137个人的不同人脸表情视频帧	正面人脸表情识别	链接

3）人脸年龄

数据库	描述	用途	获取方法
IMDB-WIKI	包含：IMDb中20k+个名人的460k+张图片 和维基百科62k+张图片, 总共： 523k+张图片	名人年龄、性别	链接
Adience	包含2k+个人的26k+张人脸图像	人脸性别，人脸年龄段(8组)	链接
CACD2000	2k名人160k张人脸图片	人脸年龄	链接

4）人脸性别

数据库	描述	用途	获取方法
IMDB-WIKI	包含：IMDb中20k+个名人的460k+张图片 和维基百科62k+张图片, 总共： 523k+张图片	名人年龄、性别	链接
Adience	包含2k+个人的26k+张人脸图像	人脸性别，人脸年龄段(8组)	链接

5）人脸识别

数据库	描述	用途	获取方法
WebFace	10k+人，约500K张图片	非限制场景	链接
FaceScrub	530人，约100k张图片	非限制场景	链接
YouTube Face	1,595个人 3,425段视频	非限制场景、视频	链接
LFW	5k+人脸，超过10K张图片	标准的人脸识别数据集	链接
MultiPIE	337个人的不同姿态、表情、光照的人脸图像，共750k+人脸图像	限制场景人脸识别	链接 需购买
MegaFace	690k不同的人的1000k人脸图像	新的人脸识别评测集合	链接
IJB-A		人脸识别，人脸检测	链接
CAS-PEAL	1040个人的30k+张人脸图像，主要包含姿态、表情、光照变化	限制场景下人脸识别	链接
Pubfig	200个人的58k+人脸图像	非限制场景下的人脸识别	链接

数据库解析

      LFW（Labeled face in wild）是由由美国马萨诸塞大学计算机视觉实验室于2007年发布，图像采集自Yahoo! News, 共包括5749个人，13233张图像，其中1680人有两幅及以上的图像。大多数图像经由Viola-Jones 人脸检测器得到后，被裁剪为固定大小。

      目前，在LFW官网上可以查到的中国企业的刷分状态是，face++ 99.5% , 商汤 99.53% ， 腾讯 99.65% , 百度 99.77%，中科奥森 99.77% , 中科云从 99.5%， 北京飞搜科技 99.67% , 颜鉴99.4%，宇泛智能 99%, 中国平安 99.8% 大华 99.78%, 海鑫 99.68% 等，谷歌针对这个人脸识别数据集的刷榜分数是 99.63% 。

       MegaFace 是由华盛顿大学（University of Washington）计算机科学与工程实验室于2015年针对名为 ”MegaFace Challenge” 的挑战而发布并维护的公开人脸数据集，是目前最为权威热门的评价人脸识别性能的指标之一。数据集中的人脸图像均采集自Flickr creative commons dataset，共包含690,572个身份共1,027,060张图像。

        在2015年10月公布的第一次的MegaFace 挑战结果中，俄罗斯公司NTechLAB以1选的识别准确率73.300%排名第一，谷歌以70.496%排名第二，北京飞搜科技64.803% 排名第三。随后陆续有各个公司和学术组织提交结果，截至2017年11月份，最好的结果已达到91.763%，由俄罗斯的Vocord 公司提交。国内目前最好的结果是腾讯优图实验室提交的83.290%，排名第二，其他较好的4个结果分别为：北京深感科技（81.298%），复旦大学计算机科学实验室（77.982%）和北京飞搜科技（76.661%）, Shanghai Tech ( 74.049% )。

人脸识别专项

发展的历程

2014年前	2014年	2015年	2016年	2017年	2018年
CRBM	DeepFace	Facenet	CenterLoss	NormFace	Arcface
CDBN	DeepID	VGGface	Openface	SphereFce	CCL
	DeepID2	DeepID2+			Cosface
	FR+FCN	DeepID3
		Face++

目前的研究成果

       1）各大研究者和商业机构近几年的结果展示（LFW网页的展示）：

http://vis-www.cs.umass.edu/lfw/results.html

       2）各个研究者在megaface竞赛上的研究结果：

 http://megaface.cs.washington.edu/

几种人脸识别方法：

1）最早的利用深度学习的人脸识别算法当属Facebook的DeepFace（2014），该算法的亮点是第一基于3d模型的人脸对齐方法，第二是大数据训练的人工神经网络。

 

文章：https://www.computer.org/csdl/proceedings/cvpr/2014/5118/00/5118b701-abs.html

Deepface: Closing the gap to humal-level performance in face verification

代码：https://github.com/RiweiChen/DeepFace

 

2）FR+FCN （2014）

文章：https://arxiv.org/ftp/arxiv/papers/1404/1404.3543.pdf

Recover Canonical-View Faces in the Tild with Deep Neural Networks

3）deepID三部曲(http://www.ee.cuhk.edu.hk/~xgwang/ 王晓刚)（2014-2015）

a)

    文章：http://www.ee.cuhk.edu.hk/~xgwang/papers/sunWTcvpr14.pdf

              Deep Learning Face Representation from Predicting 10,000 Classes

    代码：https://github.com/stdcoutzyx/DeepID_FaceClassify 

b)

     文章：http://www.ee.cuhk.edu.hk/~xgwang/papers/sunWTarxiv14.pdf

                Deep Learning Face Representation by Joint Identification-Verification

     代码：https://github.com/chenzeyuczy/DeepID2

c)

     文章：http://www.ee.cuhk.edu.hk/~xgwang/papers/sunWTcvpr15.pdf

     Deeply learned face representations are sparse, selective, and robust

d)

    文章：https://arxiv.org/abs/1502.00873

    DeepID3: Face Recognition with Very Deep Neural Networks

4)face++ ：（2015）

文章：http://xueshu.baidu.com/s?wd=paperuri%3A%28628ecff0bf9ee4a3a6cea9d3fbca0fd3%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fabs%2F1501.04690&ie=utf-8&sc_us=11022578337400751839

          Naïve-Deep Face Recognition: Touching the Limit of LFW Benchmark or Not?

 

5)Facenet: Google的人脸识别（2015）

    文章：https://arxiv.org/abs/1503.03832

               FaceNet: A Unified Embedding for Face Recognition and Clustering

    代码：https://github.com/davidsandberg/facenet 

               注：有很多如何使用facenet的博客。

6)VGG-face（2015）

    主页：http://www.robots.ox.ac.uk/~vgg/software/vgg_face/ 

    文章：http://www.robots.ox.ac.uk/~vgg/publications/2015/Parkhi15/parkhi15.pdf

               Deep Face Recognition

     代码：https://github.com/ZZUTK/Tensorflow-VGG-face 

 

7)Baidu方法：（2015）

   文章：http://xueshu.baidu.com/s?wd=paperuri%3A%283932460d37f978db26e386460904a032%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fabs%2F1506.07310&ie=utf-8&sc_us=5602776512742270991

             Targeting Ultimate Accuracy: Face Recognition via Deep Embedding

 

8)pose+shape+expression augmentation（2016）

文章：https://link.springer.com/chapter/10.1007%2F978-3-319-46454-1_35

          Do We Really Need to Collect Millions of Faces for Effective Face Recognition？

9)CNN-3DMM estimation（2016）

   文章：http://xueshu.baidu.com/s?wd=paperuri%3A%283d53e555457c71da8a4fdcccf8a40cce%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fabs%2F1612.04904v1&ie=utf-8&sc_us=76690533762457661

    Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network

 

10)Openface：人脸识别框架（2016）

     文章：OpenFace: A general-purpose face recognition library with mobile applications

    框架代码： https://github.com/TadasBaltrusaitis/OpenFace 框架代码

    较好的博客： https://blog.csdn.net/q505025354/article/details/62417968 

 

11)Centerloss : 2016

     文章：http://ydwen.github.io/papers/WenECCV16.pdf

               A Discriminative Feature Learning Approach for Deep Face Recognition

     介绍：https://blog.csdn.net/u014380165/article/details/76946339

     代码：https://github.com/pangyupo/mxnet_center_loss 

 

12)Normface: 2017

      文章：https://arxiv.org/abs/1704.06369

                 NormFace: L2 Hypersphere Embedding for Face Verification

      代码：https://github.com/happynear/NormFace 

13)Sphereface：2017

     文章：https://arxiv.org/abs/1704.08063 

                SphereFace: Deep Hypersphere Embedding for Face Recognition

      代码：https://github.com/wy1iu/sphereface 

 

14)Cosface：2018

     文章： Additive Margin Softmax for Face Verification

                Wang F, Liu W, Liu H, et al. Additive Margin Softmax for Face Verification[J]. arXiv preprint arXiv:1801.05599, 2018.

15)Arcface：2018

     文章：ArcFace: Additive Angular Margin Loss for Deep Face Recognition

                Deng J, Guo J, Zafeiriou S. ArcFace: Additive Angular Margin Loss for Deep Face Recognition[J]. arXiv preprint arXiv:1801.07698, 2018.

16)CCL：2018

      文章：Face Recognition via Centralized Coordinate Learning

                 Qi X, Zhang L. Face Recognition via Centralized Coordinate Learning[J]. arXiv preprint arXiv:1801.05678, 2018