Face Recognition（一 综述2）

---

• 知乎 - 人脸识别合集
• 侧重发展中的 关键方法
• Masi I, Wu Y, Hassner T, et al. Deep face recognition: A survey[C]//2018 31st SIBGRAPI conference on graphics, patterns and images (SIBGRAPI). IEEE, 2018: 471-478.
• 上述论文 侧重于 人脸识别（Verification + Identification）步骤！
  
• 人脸检测器用于定位人脸。 然后人脸与标准化的规范坐标对齐， 最后人脸识别（face recognotion，FR）模块执行人脸识别
• 人脸防欺骗(anti-spoofing)可识别人脸是否有效或是否有欺骗性；人脸处理在训练和测试之前处理识别困难之处
• 训练时用不同的架构和损失函数（距离）提取具有判别性的深层特征；当提取测试数据的深层特征后，使用人脸匹配方法进行特征分类

发展历史

• 人脸识别方法的发展
  • 像素级全局特征（EigenFace，FIsherFace），局部手工特征（LBPH），浅学习，深学习

损失函数变迁

• 2014年的Deepface和DeepID标志着基于深度学习的FR诞生，用的是Softmax loss
• 2015年之后，基于欧氏距离的损失在损失函数中一直扮演着重要的角色，如对比损失（Contrastive loss）、三元组损失（Triplet loss）、中心损失（Center loss）
• 2017年，特征和权重归一化（Feature and weight normalization）也开始显示出优异的性能，这导致了softmax变种的研究，如L2 softmax
  -在2016年和2017年，Large margin loss进一步推动了大间隔特征学习的发展，如L-softmax、A-softmax、Cosface、Arcface

• 红、绿、蓝、黄分别代表基于softmax的深度方法、基于欧式距离的损失方法、基于softmax变种的方法、基于角/余弦的间隔损失方法

BacBone发展

• 完全遵循分类网络的发展历程：AlexNet演化到SENet

Dataset演变

• 约束数据集指的是数据大都是正脸比较好分类
• 无约束数据集指的是大都是自然场景
• 2007年之前，FR的早期工作集中在约束的和小规模数据集。
• 2007年引入LFW数据集，标志着无约束条件下FR的开始。从那时起，设计了更多具有不同任务和场景的测试数据库。
• 2014年CASIA-Webface提供了第一个广泛使用的大规模公共训练数据集。

• 红色矩形表示训练数据集，其他颜色矩形表示具有不同任务和场景的测试数据集

For Training

• CelebA（CelebFaces，CelebFaces+） 人脸属性识别数据集

  • Large-scale Celeb Faces Attributes (CelebA) Dataset由香港中文大学汤晓鸥教授实验室公布的大型人脸识别数据集，主要用于人脸属性的识别。202599张人脸图片，10177个身份，以及5个地标位置，每张图片40个二进制属性注解。

• CASIA-WebFace

  • Chinese Academy of Sciences (CASIA)，第一个广泛使用的FR大规模公共训练数据集。49万张图片，1万个人。
  • 

• MegaFace 数据集

  • 美国华盛顿大学发布的百万级人脸数据MegaFace数据集，包括690572个对象和约4.7百万张图像，将人脸数据的规模推向了一个高度。
    这个数据集方针设定不同，其内容是几十位互联网名人的图片再加上普通人的1百万张图片作为干扰数据。相比人脸识别，更倾向于在大噪声下的人脸验证，并且数据的分布同样不平衡，平均每个对象只有7幅图像，同一对象内人脸数据的变化小。

• MS-Celeb-1M 数据集

  • 微软亚洲研究院发布，该数据集包含10万个对象和约1千万张图像。 这是迄今最大规模的人脸识别数据集，尽管规模很大但数据分布不平衡且大姿态的面部数据占比少且存在不少的噪声数据。
  • 从1M个名人中，根据他们的受欢迎程度，选择100K个。然后，利用搜索引擎，给100K个人，每人搜大概100张图片。共100K╳100=10M个图片。测试集包括1000个名人，这1000个名人来自于1M个明星中随机挑选。而且经过微软标注。每个名人大概有20张图片，这些图片都是网上找不到的。
  • MSR IRC是目前世界上规模最大、水平最高的图像识别赛事之一，MSRA（微软亚洲研究院）图像分析、大数据挖掘研究组组长张磊发起，每年定期举办。

For Testing

• LFW 人脸识别数据集
  • 无约束自然场景人脸识别数据集，该数据集由13323张互联网名人在自然场景（不同朝向、表情和光照环境）下的人脸图片组成。共有5749个名人，其中有1680人有2张或2张以上人脸图片，只有85人拥有超过15张图片，4069人只有1张图片。每张人脸图片都有唯一的姓名ID和序号加以区分。
  • LFW数据集主要测试人脸识别的准确率。该数据库从中随机选择了6000对人脸组成了人脸辨识图片对，其中3000对属于同一个人2张人脸照片， 3000对属于不同的人每人1张人脸照片。
• FDDB 人脸检测数据集
  • 无约束自然场景人脸检测数据集，该数据集包含在从各个不同自然场景拍摄的2845幅图像中的5171个人脸。每个人脸都有其规定的坐标位置。
  • FDDB数据集主要测试人脸检测的准确率。人脸识别算法需要在该数据集每张图像上进行人脸检测，对检测到的人脸进行位置标定。然后根据数据集本身给出的正确答案计算正确检出人脸数与误检人脸数而评判人脸检测算法的好坏。
• YouTube Faces（YTF）
  • YouTube Video Faces是用来做人脸验证的。在这个数据集下，算法需要判断两段视频里面是不是同一个人。有不少在照片上有效的方法，在视频上未必有效/高效，视频图像质量较差。该数据集包含3,425段视频中的1,595个人。 最短片段持续时间为48帧，最长片段为6,070帧， 视频片段的平均长度为181.3帧。
• IJB-A 数据集
  • IJB-A (IARPA Janus Benchmark A) 数据集中不仅包括被摄对象的静态图像而且同时也包括被摄者的视频片段。因为这个特点，引入了模板的概念：指在无约束条件下采集的所有感兴趣面部媒体的一个集合。该媒体集合不仅包括被拍摄者的静态图像也包括视频片段。
    数据集中的所有媒体都是在完全无约束环境下采集的。很多被拍摄者的面部姿态变化巨大，光照变化剧烈以及拥有不同的图像分辨率。
  • 不足是该数据集的规模小，IJB-A数据则只包含来自500个对象的5396幅静态图像和20412帧视频数据。

Siamese Network

• 孪生网络（Siamese network）是连体的神经网络，孪生架构（Siamese Architecture）是一种框架，神经网络的“连体”是通过共享权值来实现的。Siamese指两个暹罗连体人胞胎。孪生神经网络用于处理两个输入"比较类似"的情况，如计算两个句子或者词汇的语义相似度。
  • 左右两个神经网络的权重是一模一样的，甚至代码实现时可以是同一个网络，不用实现另外一个，因为权值都一样，两边可以是lstm或者cnn。
• 伪孪生神经网络（pseudo-siamese network）：如果左右两边不共享权值，而是两个不同的神经网络，就是，。它两边可以是不同的神经网络（如一个是lstm，一个是cnn），也可以是相同类型的神经网络。伪孪生神经网络适用于处理两个输入"有一定差别"的情况，如验证标题与正文的描述是否一致（标题和正文长度差别很大），或者文字是否描述了一幅图片（一个是图片，一个是文字）。

用途

• 孪生神经网络的用途是衡量两个输入的相似程度。将两个输入feed进入左右两个神经网络，这两个神经网络分别将输入映射到新的空间中的向量，在新的空间中判断Cosine距离、exp function、欧式距离等就能得到两个输入的相似度了。通过Loss的训练来使相似图像的相似度D变小，不相似的图像相似度D变大。
  

损失函数

• 传统的siamese network使用Contrastive Loss（对比损失），下图是用了对比损失
  

应用历程

• 孪生神经网络的应用历程，在nlp和cv领域都有很多应用：
  • 1993年Yann LeCun就把Siamese神经网络用在了签名验证上，即验证支票上的签名与银行预留签名是否一致。NIPS 1993《Signature Verification using a ‘Siamese’ Time Delay Neural Network》
  • 2010年Hinton用来做人脸验证，效果很好，即将两个人脸feed进卷积神经网络，输出same or different，这里属于二分类。ICML 2010《Rectified Linear Units Improve Restricted Boltzmann Machines》
  • 手写体识别
  • 基于Siamese网络的视觉跟踪算法也已经成为热点，2016《Fully-convolutional siamese networks for object tracking》
  • 词汇的语义相似度分析，QA中question和answer的匹配
  • kaggle上Quora的question pair的比赛，即判断两个提问是不是同一问题，冠军队伍用的就是n多特征+Siamese network

损失函数

• 标签预测（最后一个全连接的层）就像一个线性分类器，深度学习的特征需要容易分离（separable） 。此时softmax损失能够直接解决分类问题。
• 但对于人脸识别任务，深度学习的特征不仅需要separable，还需要判别性（discriminative） 。 可以泛化从而识别没有标签预测的未见类别。

基于欧几里得距离的损失函数

对比损失 (Contrastive Loss)、三元组损失 (Triplet Loss)、中心损失 (Center Loss)

基于Angular Margin的损失函数

L-Softmax Loss、A-Softmax Loss、COCO Loss、CosFace Loss、ArcFace Loss