面部属性预测增强的深层识别网络

摘要
在本文中，我们提出了一个新的深度框架，它预测面部属性并将其作为一种软模态来提高面部识别性能。我们的模型是一个端到端框架，由卷积神经网络（CNN）组成，其输出被扇形化为两个独立的分支;第一个分支预测面部属性，而第二个分支标识面部图像。与仅使用共享CNN特征空间共同训练这两个任务的现有多任务方法相反，我们将预测属性与面部模态中的特征融合以提高面部识别性能。实验结果表明，我们的模型对面部识别和面部属性预测性能都有好处，特别是在性别面部属性（如性别预测）的情况下。我们在由身份和面部属性注释的两个标准数据集上测试了我们的模型。实验结果表明，所提出的模型优于目前大多数现有的人脸识别和属性预测方法。
1.引言
深度神经网络，特别是深度卷积神经网络（CNN），在视觉任务中提供了显着的改进，例如人脸识别，属性预测和图像分类。尽管取得了这一进步，但设计一个深层模型来共同学习不同的任务，同时通过共享学习参数来提高其性能仍然是一个具有挑战的问题。
向基于CNN的人脸识别模型提供辅助信息可以提高其识别性能;但是，在某些情况下，此类信息仅在训练期间可用，并且可能在测试阶段不可用。尽管使用辅助数据具有潜在的优势，但这些问题已经降低了在生物识别应用中使用软模式和硬模式的流行性和灵活性。
我们提出了一个模型，它共同预测面部属性并识别面部同时利用预测的面部属性作为改善面部识别性能的辅助模态。我们还表明，当我们的模型被联合训练以识别面部图像和预测面部属性时，面部属性预测的模型性能也会增加。换句话说，在我们的模型中，一旦他们共同训练，这两种方式会改善彼此的表现。我们展示了一些软生物信息，例如年龄和性别，它们本身对于面部识别来说不够独特，但是，提供补充信息以及其他主要信息，例如面部图像。
尽管面部识别性能有了显着改善，但它仍然是计算机视觉中持续存在的问题。文献中有许多方法将面部属性用于生物度量应用，例如面部识别。例如，Wang等提出了一种约束人脸识别模型用于关节面部属性预测和人脸识别的属性。在该模型中，首先更新网络的参数以用于属性预测，然后针对面部识别微调相同的网络。而Ranjan等人则增加了其他与面部相关的任务来提高整体绩效。他们的模型是单个多任务CNN网络，用于同时进行面部检测，面部对齐，姿势估计，性别识别，微笑检测，年龄估计和面部识别。
作为语义特征的面部属性可以直接从面部图像预测，或间接地从其他面部属性预测。属性预测方法通常分为局部或全局方法。局部方法包括三个步骤;首先，他们检测到对象的不同部分，然后从每个部分中提取特征。最后，连接这些特征以训练分类器。例如，Kumar等人的方法基于从十个面部部位提取手工制作的特征。 Zhang等提取姿势对齐面部部位来预测面部属性。如果对象定位和对齐不完美，则此方法无法正常工作。然而，全局方法从整个图像中提取特征而忽略对象部分，然后在提取的特征上训练分类器;如果图像中存在大的面部变化（例如遮挡，姿势和光照），则这些方法执行不正确。
近年来属性预测得到了改进。 Bourdev等提出了一种基于部分的属性预测方法，该方法部署语义分割，以便将局部信息从语义面部解析的辅助任务转移到面部属性预测任务。 Liu等使用两个级联的CNN;第一个，LNet，用于面部定位，而第二个，ANet，用于属性描述。 Zhong等人首先定位人脸图像，然后使用设计用于人脸识别的现成架构来描述CNN不同级别的人脸属性。 He等提出了一个用于相对属性预测的多任务框架。该方法使用CNN分别从中间卷积和完全连接的层学习局部上下文和全局样式信息。
我们的网络受到多任务网络的启发，但我们将属性预测器的输出融合到面部识别层中，这使得它与其他现有的多任务方法不同，例如Wang等人的方法。我们的深CNN模型由两个级联网络构成，其中最后一个由两个分支组成，每个分支分别用于面部属性预测和面部识别。这两个分支通过共享模型中第一网络的参数以及融合属性分支与面部识别分支的最后一个池化层来将信息通信在一起。在我们的模型中，在每个训练步骤中同时更新所有参数（即两个级联网络的参数）。
我们工作的贡献总结如下：
1）我们设计了一种新的端到端CNN架构，该架构学习预测面部属性，同时以面部识别的目标进行训练。我们的模型共享学习参数以训练两个任务，并且还融合属性信息和面部模态以改善面部识别性能。
2）与仅使用共享CNN特征空间共同训练这两个任务的现有多任务方法相反，我们的模型使用特征级融合方法来利用面部属性来改善面部识别性能。此外，我们观察到，我们共同训练的网络是比单独训练面部属性更有能力的面部属性预测器。
本文的其余部分组织如下：CNN架构在第2节中描述，属性和面部模态的融合在第3节中描述，模型训练参数在第4节中描述，最后，结果和结束语在第5和第6部分。
2.深部关节面部属性预测和人脸识别模型
所提出的架构预测面部属性并将其用作识别面部图像的辅助模态。该模型由两个连续的级联网络构成，如图1所示。第一个网络（net @ 1）使用VGG 19结构[26]，具有相同的滤波器大小，卷积层和池化操作。第一个网络应用具有3×3感受野的过滤器。卷积步幅设置为1像素。为了在卷积之后保持空间分辨率，对于所有3×3卷积层，卷积层的空间填充被固定为1个像素。空间汇集由放置在第二，第四，第八和第十二卷积层之后的四个最大汇集层和放置在第十六卷积层之后的一个全局平均池化（GAP）层执行。最大池化在2×2像素窗口上进行，步长为2.每个隐藏层之后是整流线性单元（ReLU）[16]激活功能。 GAP层是我们模型中的一个重要过程，因为忽略GAP层并用最大池层替换它，当我们将面和属性模式融合在一起时，融合层的输出将具有非常高的维度。 GAP层简单地取得从最后一个卷积层获得的每个特征映射的平均值。由于在GAP层没有优化参数，因此在该层防止过度拟合。
第二个网络（net @ 2）被分成两个独立的分支，同时通过训练过程将信息传递到一起。这两个分支都包括在第一网络的输出上操作的两个完全连接（FC）层。每个分支的第一个FC层（图1中的Fc1和Fc’1）由4096个单元组成。 （Fc1）和（Fc’1&