重磅 | 最新人脸检测&识别的趋势和分析（文末有福利）

在今天说最近比较新颖的人脸检测&识别的时候，为啥会附上上图和下图，在江南的同学估计心有体会啊，打过年以来，没见过阳光，听说“萧敬腾”来杭州买了一栋楼，看样子我们还要难受一个月左右！

但是！！！听说上图是台风"蝴蝶"即将来袭，是不是会带走我们进一个月的雨水呢？会不会帮我们拜摆脱阴雨呢？

那我们还是开始正题，今天说到得都是近几年比较流行的深度学习网络框架，会针对个别几个框架详细说说，有兴趣的同学，可以回顾我们“计算机视觉战队”公众号之前推送的一些相关内容！为了方便，我还是附在下面吧！（点击文字有链接）

往期回顾

/人脸注意机制网络

/未来人工智能之人脸领域技术

注：还有很多关于人脸的文章，有兴趣的自行去搜索！

?

最新深度网络用语人脸的部分介绍与分析

DeepID网络结构

DeepID是第一代，其结构与普通的卷积神经网络基本相同，结构图例如以下：

该结构与普通的卷积神经网络框架的结构很相似。不同点是，在隐含层，也就是倒数第二层的时候，与Convolutional layer4和Max-pooling layer3相连，鉴于卷积神经网络层数越高感受野越大的特性，这种连接方式能够既考虑局部人脸精细特征，又考虑全局的整体特征。

· 实验结论 ·

• 使用Multi-scale Patches的convnet比仅仅使用一个只有整张人脸的patch的效果要好；

• DeepID自身的分类错误率在40%到60%之间震荡，尽管较高，但DeepID是用来学习特征的，并不需要关注自身分类错误率；

• 使用DeepID深度学习网络的最后一层softmax层作为特征表示，效果非常差；

• 随着DeepID的训练集人数的增长，DeepID本身的分类正确率和LFW的验证正确率都在添加。

DeepID2

DeepID2相对于DeepID有了较大的提高，其主要原因在于在DeepID的基础上加入了验证信号。

详细来说，原本的卷积神经网络最后一层softmax使用的是逻辑回归（Logistic Regression）作为最终的目标函数，也就是识别信号；但在DeepID2中，目标函数上加入了验证信号，两个信号使用加权的方式进行了组合。

· 两种信号及训练过程· 

识别信号公式例如以下：

验证信号公式例如以下：

因为验证信号的计算需要两个样本，所以整个卷积神经网络的训练过程也就发生了改变，之前是将所有数据切分为小的batch来进行训练，但如今则是每次迭代时随机抽取两个样本，然后进行训练。

· 实验结论 ·

对lambda进行调整，也即对识别信号和验证信号进行平衡，发现lambda在0.05的时候最好。使用LDA中计算类间方差和类内方差的方法进行计算。得到的结果例如以下：

能够发现，在lambda=0.05的时候，类间方差几乎不变，类内方差下降了非常多，这样就保证了类间区分性，而降低了类内区分性。

DeepID2+

DeepID2+有例如以下贡献，①继续更改了网络结构；②对卷积神经网络进行了大量的分析，发现了几大特征。包含：

• 神经单元的适度稀疏性，该性质甚至能够保证即便经过二值化后，仍然能够达到较好的识别效果；

• 高层的神经单元对人比较敏感，即对同一个人的头像来说，总有一些单元处于一直激活或者一直抑制的状态；

• DeepID2+的输出对遮挡很鲁棒。

· 网络结构变化 ·

相比于DeepID2，DeepID2+做了例如以下三点改动：

• DeepID层从160维提高到512维；

• 训练集将CelebFaces+和WDRef数据集进行了融合，共有12000人，290000张图片；

• 将DeepID层不仅和第四层和第三层的max-pooling层连接，还连接了第一层和第二层的max-pooling层。

DeepID3

DeepID3有两种不同的结构，分别为DeepID3 net1，DeepID3 net2（如上图）。相对DeepID2+，它的层数更多，网络更深，同时还借鉴了VGG和GoogLeNet，引入了inception layer，这个主要是用在了DeepID3 net2里面。网络中还出现了连续两个conv layer直接相连的情况，这样使得网络具有更大的receptive fields和更复杂的nonlinearity，同时还能限制参数的数量。

下面稍微带着说一下inception layer：

· Inception Layer ·

传统的ConvNet是将Convulution layer stack在一起，而Inception最大的改变就是时Inception模块叠加的形式构造网络。按论文里面说就是，用Inception（稠密的可利用的组件）近似一个稀疏结构。 

将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性.主要特点是提高了网络内部计算资源的利用率。

· 性能比较 ·

在训练样本上，DeepID3仍采用原来DeepID2+中使用的样本，在25个image patches产生的网络上作对比时，DeepID3 net1优势最为明显，而DeepID3 net2提升不大显著。

今天就先讲这些吧，下次我们继续说更近的人脸检测&识别框架。有兴趣的同学请时刻关注我们。

如果您看到这句话，请帮我们点击下"好看"，以表对我们的支持，谢谢！

文 末 福 利

人脸数据集，有兴趣可以下载，慢慢去实践，挺好玩的！

■Annotated Database (Hand, Meat, LV Cardiac, IMM face) (Active Appearance Models)
■AR Face (http://cobweb.ecn.purdue.edu/~aleix/aleix_face_DB.html)
■BioID Face Database (BioID Face Database | facedb | BioID)
■Caltech Computational Vision Group Archive (Cars, Motorcycles, Airplanes, Faces, Leaves, Background) (Computational Vision: Archive)
■Carnegie Mellon Image Database (motion, stereo, face, car, ...) (CMU VASC Image Database)
■CAS-PEAL Face Database (The PEAL Face Database)
■CMU Cohn-Kanade AU-Coded Facial Expression Database (http://www.ri.cmu.edu/projects/project_421.html
■CMU Face Detection Databases (http://www.ri.cmu.edu/projects/project_419.html)
■CMU Face Expression Database (http://amp.ece.cmu.edu/projects/FaceAuthentication/download.htm)
■CMU Face Pose, Illumination, and Expression (PIE) Database (http://www.ri.cmu.edu/projects/project_418.html)
■CMU VASC Image Database (motion, road sequences, stereo, CIL’s stereo data with ground truth, JISCT, face, face expressions, car) (CMU VASC Image Database)
■Content-based Image Retrieval Database (Index of /groundtruth)
■Face Video Database of the Max Planck Institute for Biological Cybernetics (Welcome)
■FERET Database (frvt.org)
■Georgia Tech Face Database (http://www.anefian.com/face_reco.htm)
■German Fingerspelling Database (http://www.anefian.com/face_reco.htm)
■Indian Face (http://http://www.cs.umass.edu/~vidit/IndianFaceDatabase)
■MIT-CBCL Car Database (Pedestrian Data)
■MIT-CBCL Face Recognition Database (CBCL FACE RECOGNITION DATABASE)
■MIT-CBCL Face Databases (CBCL SOFTWARE)
■MIT-CBCL Pedestrian Database (New Page 1)
■MIT-CBCL Street Scenes Database (CBCL StreetScenes Database Download Page:)
■NIST/Equinox Visible and Infrared Face Image Database (http://www.equinoxsensors.com/products/HID.html)
■NIST Fingerprint Data at Columbia (Link)
■ORL Database of Faces (The Database of Faces)
■Rutgers Skin Texture (http://www.caip.rutgers.edu/rutgers_texture/)
■The Japanese Female Facial Expression (JAFFE) Database (Japanese Female Facial Expression (JAFFE) Database
■The Ohio State University SAMPL Image Database (3D, still, motion) (http://sampl.ece.ohio-state.edu/database.htm)
■The University of Oulu Physics-Based Face Database (Center for Machine Vision and Signal Analysis)
■UMIST Face Database (http://images.ee.umist.ac.uk/danny/database.html)
■USF Range Image Data (with ground truth) (USF Range Image Database)
■Usenix Face Database (hundreds of images, several formats) (Link)
■USC-SIPI Image Database (collection of digitized images) (SIPI Image Database)
■UCD VALID Database (multimodal for still face, audio, and video) (VALID Database)
■UCD Color Face Image (UCFI) Database for Face Detection (http://ee.ucd.ie/~prag/)
■UCL M2VTS Multimodal Face Database (http://www.tele.ucl.ac.be/PROJECTS/M2VTS/m2fdb.html)
■Vision Image Archive at UMass (sequences, stereo, medical, indoor, outlook, road, underwater, aerial, satellite, space and more) (SIPI Image Database)
■Where can I find Lenna and other images? (comp.compression Frequently Asked Questions (part 1/3)Section - [55] Where can I find Lenna and other images?)
■Yale Face Database (http://cvc.yale.edu/projects/yalefaces/yalefaces.html)
■Yale Face Database B (http://cvc.yale.edu/projects/yalefaces/yalefaces.html)

如果想加入我们“计算机视觉战队”，请扫二维码加入学习群，我们一起学习进步，探索领域中更深奥更有趣的知识！