Understanding DeepID2

Deep Learning Face Representation by Joint  Identification-Verification

By 汤晓鸥

arXiv:1406.4773v1 [cs.CV] 18 Jun 2014

Abstract

Face recognition的主要挑战是得到既能使类内方差减小同时又能使类间差增大的有效 feature representations。本文中我们将show that 可以通过在deep learning中同时使用 face identification and verification 作为监督信号来来解决此问题。 The  Deep IDentification-verification features (DeepID2) 从精心设计的deep conv network 中学得。 The face identification task通过使得不同类间的DeepID2分开从而增大类间差， the face verification task通过拉进相同类之间的DeepID2从而减少类内差。学到的DeepID2 features 可以很好的泛化到一些在训练集中没有的类别。在LFW数据集上， face verification accuracy达到99.15%。

Why verification signal needed

The identification 监督信号趋向于将不同类别的DeepID2 分开，因为样本会被分为不同的类。然而，the identification signal 对来自统一类别的DeepID2有比较弱的约束，因为不相似的DeepID2可能会被映射为相同的类别。（理解：因为The identification信号只是将不同类别的样本分开，没有将相同类别的拉近） 这在test时将DeepID2泛化到new tasks and new identities时，映射到类别的层将不再适用。文章通过加入face verfication信号来解决此问题，要求每对来自相同类别的DeepID2更接近，而来自不同类别的DeepID2离的更远。

The ConvNet Structure

4个Conv层，三个pooling层。第三个Conv层，kernel weights 使用locally shared， 即在每个 2*2 local regions里面共享权值，而不是整个feature map共享。 而在第四个Conv层中采用的 locally-connected layer，即每个kernel都不共享权值。Net最后提取160维的DeepID2向量。DeepID2 layer 由第三和第四Conv层全连接所得，因为第四Conv层比第三层提取了更多的global features, 因此DeepID2 layer有multi-scale features 作为输入，也即所谓的 multi-scale ConvNets.  另外，使用ReLU作为激活函数。

对于identification 监督信号, 在DeepID2 layer 后接 softmax layer。

对于verification 监督信号，采用如下的L2 norm作为loss，其中，fi, fj 为样本i, j的DeepID2, 对于fi, fj属于同一类时，即yij=1, 则最小化其L2 distance. 若属于不同类，要求其L2 distance大于一个margin m。由于m的梯度始终是负的，因此无法在训练中采用梯度下降。相反，我们在训练中自适应的update m使得其为使verfication error最小是的阈值。

训练算法如下

Face verification

这是在训练之后用来做face verification的测试的，将 DeepID2 features 嵌入到pipeline里。 对于一张图片，首先用SDM算法提取21 facial landmarks, 然后根据这些landmarks 进行对齐。再crop 出400个patches, 具有不同的 positions, scales, color channels, 以及 horizontal flipping，提取对应的400 个DeepID2 vectors。

为减少冗余和计算时间，使用 forward-backward greedy algorithm从400 个vectors中选出少数的DeepID2 vectors(本文试验中选出25个）。将25个向量拼成4000维的向量，再用PC A进行降为（试验中降到180维）。用降维后的向量进行face verification。

 文章学习了一个 Joint Bayesian model来进行face verification, 在实验中也和基于L2 norm的face verification 进行对比。

模型在 CelebFaces+  dataset 上进行训练。将 CelebFaces+ 分成 CelebFaces+ A(8192 identities) 和CelebFaces+ B（1985 identities)，在A上训练DeepID2， 在B上训练Joint Bayesian model，最后在LFW上测试。

关于实验以及其他更多细节，参见原论文。

以上。