人脸识别——脸部属性辅助（多任务）

《Multi-task Deep Neural Network for Joint Face Recognition and Facial Attribute Prediction》

• 2017，Zhanxiong Wang et al.

1.引言：

本文首次提出了一种多任务深度神经网络，用于联合学习人脸识别和人脸属性预测任务。
在 MegaFace dataset，可以达到77.74 %的rank1识别精度，以及在FAR时的TAR达到79.24%。
由于现有的人脸识别数据集不具有预先标记的面部属性标签。属性分类器在辅助数据集上进行预训练，属性标签是通过多数表决方式生成的。基于这样的数据，本文提出了多任务人脸识别网络的Full-Model和Fast-Model。
本文的贡献主要有3点：
（1）首次提出了一种多任务深度神经网络结构，共同学习人脸属性预测和人脸识别。这两种任务可以帮助彼此，来提高算法性能。
（2）由于Full-Model的高成本，我们提出了一个Fast-Model多任务模型。
（3）系统地探索了网络中不同结构和配置的替代选择。

2.属性约束的人脸识别结构

1）网络结构：

图1为属性约束的人脸识别Full-Model结构。

2）人脸属性预测
本文建议采用面部属性作为人脸识别的约束条件。这样的面部属性应该是一个人在不同的情况下不发生变化。即：与生物特征相关的属性（e.g. Big Nose）比其它出现的面部属性（e.g. wearing glasses）更可取。
本文框架所使用的属性：

本文使用CelebA 数据集来训练面部属性分类器，训练好的模型用来预测 CAISIA-WebFace。针对CAISIA-WebFace数据可以进一步采用多数投票法来调整人脸属性预测的结果。e.g.:该数据集包括Bruce Lee的15张人脸图像：如果14张图像被预测为男性，而只有一张图像被预测为女性，那么大多数投票将约束所有具有男性属性的 Bruce Lee图像，可以帮助噪声修剪。

3）人脸识别网络结构
Full-Model：

Fast-Model：

3.训练和测试

本文在CASIA-WebFace和CelebA数据集上进行训练，在MegaFace和LFW上进行测试。
Evaluation metrics：
Face Identification. 给定probe和gallery中至少包含一个相同身份的图像，需要计算每个gallery图像与给出的probe图像之间的相似度，以及gallery图像的rank排名。Cumulative Match Characteristics (CMC) curves.
Face Verification. 给定一对照片，需要确定两个图像中的人是否相同。 Receiver Operating
Characteristic (ROC) curves.
Facial attribute prediction. 给定一个属性，我们将计算面部属性预测的准确度。

Parameter settings：
损失函数：a和p分别用于面部属性和面部识别任务；

训练模型70k迭代：λ1 =0, λ2 = 1。微调30k次迭代：λ1 = 0.1, λ2 =1

实验结果：

本文的一些尝试：（比较重要）

The different configurations of the last layer of our network

(1) Configuration-1 is the structure is used in our FullModel and Fast-Model.
(2) Configuration-2 is a shared structure of both tasks.
(3) Configuration-3 enforces another independent fully connected layer for each individual task.
测试结果：

The benefits of different kinds of facial attributes.

对比无属性模型，显然使用所有人脸属性可以提高人脸识别性能。
本文发现，眼睛属性比全局属性更重要的是在两个数据集上的识别精度。

总结：

本文首次提出了一种新的人脸识别和人脸属性预测的联合深度体系结构。

---

注：博众家之所长，集群英之荟萃。