DeepID2 "Deep Learning Face Representation by Joint Identification-Verification"

降低类内方差，提升类间方差一直是人脸识别的热点。论文将人脸识别和验证损失同时监督网络的训练，在LFW上获得99.15%的验证准确率。人脸识别是对输入图像分类，验证是判断一对图像是否为同一个ID。

分类信号具有丰富的ID相关信息，或者类间方差，但分类信号对于相同ID的约束较小，即不同的特征可能映射到相同的ID上。这时当特征推广到新任务或者新ID时表现就不好。因此，论文增加了人脸验证信号的监督，要求同一个ID的特征较近，不同的ID特征较远，降低类内方差。但只使用验证信号，在提取ID相关的特征上又不够好。因此，作者使用了两个监督。

分类信号的监督是最小化交叉熵损失，即，

验证信号是使用基于L2 norm的对比损失，让相同的id更相似，即一对样本的相似度作为损失的度量，

基于L1 norm的验证监督为：

其中d为余弦距离。

分类及验证信号通过超参数$\lambda$平衡，学习算法如下所示：

 

将DeepID2特征嵌入到人脸验证框架中，包括人脸对齐，特征提取，人脸验证。使用SDM算法检测21个人脸关键点，并对齐。随机裁切400个patch，通过200个深度网络提取400个160维的DeepID2特征，为降低冗余，使用前向贪心算法选择25个有效且互补的特征，得到4000维的特征使用PCA压缩。之后基于提取到的特征学习联合贝叶斯模型。

**实验结果**

在LFW数据集上测试人脸验证效果，LFW包含5749个id共13233个人脸图像。在CelebFaces+数据集上训练，DeepID2特征由CelebFaces+A训练，CelebFaces+B用来做特征选择及联合贝叶斯模型的学习。

监督信号权值的影响：

验证损失权值分别为0，0.05，无穷大时类内、类间方差的变化。长尾说明方差变化大，对于分类来说可以帮助区分不同id，但较大的雷内方差代表噪声，在验证损失的权值取0.05时分类可以保持较大的方差，验证的方差较小，这是验证就相对容易。权值取无穷大也不行，缺少了类间变化。

训练样本的增加对验证准确率提升有帮助：

使用不同数量patch的效果：

 

与其他方法对比的效果