人脸生成识别 Towards Pose Invariant Face Recognition in the Wild

Towards Pose Invariant Face Recognition in the Wild

Motivation

姿态变化是人脸识别中的一个关键问题，现有的姿态不变人脸识别技术可以概括为：

1. 直接提取姿态不变特征进行识别
2. 在特征提取之前先将侧面人脸图像规范化为正面姿态

作者联合执行这两项任务更为可取，以使它们彼此受益。灵感来源于最近的研究发现，人类大脑有一个面部处理神经系统，有几个相连的区域组成，其中一些区域的神经元执行面部归一化（侧脸到正脸），其他的区域被调整去识别合成的正面人脸，使人脸对姿态变化具有鲁棒性。
更一步的，野外露天的人脸识别任务要求更高效准确的模型。

Contribution

1. 提出PIM（Pose Invariant Model）模型，它将人脸的正面化和身份识别进行端到端的联合学习，相互促进，以实现姿势不变的人脸识别，这是一个新的统一框架。
2. PIM的两个子模块各有创新，并且效果很好。
   

Approach

姿势不变模型（PIM）由一个人脸前额化子网（FFN）和一个判别学习子网（DLN）组成。

FFN（Face Frontalization Sub-Net）

Domain Invariant Dual-Path Generator

首先是一个全局+局部生成器，如下图所示，跟TP-GAN的结构差不多（详情见我另外一篇博客）

生成器的损失函数定义：

分别是对抗损失（这个有点特别，放在最后说）、身份一致损失、跨域对抗性损失、像素损失、对称性损失与尖峰伪影损失，主要提下下面几个：

• 跨域对抗性损失$L_{domain}$
  最小化Ldomain 可以减少domain差异，帮助生成器跨越不同的domain实现相似的人脸正面化性能。即便是来自真实人脸domain的训练样本是有限的。
  
  $y_i$：0代表源域，1代表目标域
  $C_{\varphi }$：domain分类器
  $r_i$：域提取的特征
  在生成器提取特征的同时，domain分类器做对抗训练（这也就是梯度翻转的原因，这样可以在生成器向后传播的同时完成分类器的对抗训练）。
  实际上用的是迁移学习的方法，Unsupervised Domain Adaptation by Backpropagation解读

• 尖峰伪影损失$L_{TV}$
  
  $I_i$是生成的图像

Dynamic Convolutional Discriminator

目标：

1. 图像需要尽量真实，不易分辨
2. 针对侧脸样本数据少的情况设计
   

方案
鉴定器使用Siamese判别网络，学习“如何学习”。本文构造了两个判别器分支（branch），每个Siamese实现一个成对的训练方案，每个鉴别器一个来自生成器合成的正面化face和真实正面face组成。两个鉴别器的真实face的身份是一样的。
将第二个判别器作为learner，动态预测第一个判别器的卷积参数，从而使得判别器捕捉到属于同一个人的更多信息，来增强判别器鉴别的能力，而这种learning to learn的策略，对于小样本情况下的网络学习会起到比较好的作用，使生成结果更加稳定和真实。
最后得到对抗损失：

它作为一种监督，将合成的图像推送到真实感正面视图图像的流形中，防止模糊效果，产生视觉愉悦的效果。

DLN（Discriminative Learning Sub-Net）

DLN是用于人脸识别的generic CNN，由enforce cross-entropy 优化策略训练，这个策略，减少类内距离，增大类间差距。输入合成的正面face，输出学习到的姿态不变的面部表示。

将DLN的全连接层的最后一列的权重作为vector a，代表每个身份在特征空间的中心，当特征向量距离（cosine metric）相同时，可以得到决策边界，每个类可以聚类。对于接近决策边界的样本，可以有较高的可信度进行错误分类。一种简单而有效的解决方法是在增加特征向量类间距离的同时减小类内距离，通过该方法对hard sample在正确的决策区域进行调整和重新分配。

相当于引入了一个增强版本的softmax loss，通过在genuine samples的log上 乘以一个随训练过程变化的衰减系数来控制决策分类面，缩小类内距离，扩大类间距离，DLN的损失函数在梯度反传的过程中，也会对人脸转正网络FFN的学习起到促进作用。

Discussion

这篇文章的人脸生成部分与TP-GAN是差不多的，细节上有些变动。
个人总结本文的主要贡献在于：

1. 相对于TP-GAN更近一步，进行了人脸识别网络的设计，形成了一个统一框架。
2. 进行精心设计，使得这个统一框架有不错的泛化能力，可以用于野外识别任务。

References

Zhao, J., Cheng, Y., Xu, Y., Xiong, L., Li, J., Zhao, F., Jayashree, K., Pranata, S., Shen, S., Xing, J., Yan, S., & Feng, J. (2018). Towards Pose Invariant Face Recognition in the Wild. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2207–2216. https://doi.org/10.1109/CVPR.2018.00235

https://blog.csdn.net/qq_43118318/article/details/88958620

https://zhuanlan.zhihu.com/p/63427561

https://zhuanlan.zhihu.com/p/274270890