Facial Motion Capture 调研

开源

Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network（2017 CVPR）

众所周知，人脸的 3D 形状具有区分性。然而尽管如此，它们很少用于人脸识别并且总是在受控的观看条件下。我们声称这是现有单视图 3D 人脸重建方法中一个严重但经常被忽视的问题的症状：当“在野外”应用时，它们的 3D 估计要么不稳定，并且对于同一主题的不同照片会发生变化，要么它们是过度规范和通用。作为回应，我们描述了一种用于回归判别性 3D 可变形人脸模型 (3DMM) 的稳健方法。我们使用卷积神经网络 (CNN) 直接从输入照片回归 3DMM 形状和纹理参数。我们通过提供一种生成大量标记示例的方法来克服此目的所需的训练数据不足的问题。我们的 CNN 产生的 3D 估计超过了 MICC 数据集上最先进的准确性。结合 3D-3D 人脸匹配管道，我们在 LFW、YTF 和 IJB-A 基准上展示了第一个具有竞争力的人脸识别结果，使用 3D 人脸形状作为表示，而不是其他现代系统使用的不透明深度特征向量。

这个方法对于同一个人的不同角度输出可以稳定，但只重建长相，不重建表情。

开源：https://github.com/anhttran/3dmm_cnn

FacePoseNet: Making a case for landmark-free face alignment（2017）

我们展示了如何训练简单的卷积神经网络 (CNN) 以直接从图像强度中准确且稳健地回归 6 自由度 (6DoF) 3D 头部姿势。我们进一步解释了如何使用这个 FacePoseNet (FPN) 在 2D 和 3D 中对齐人脸，作为这些任务的显式面部标志检测的替代方案。我们声称，在许多情况下，在比较不同的人脸对齐方式时，测量地标检测器精度的标准方法可能会产生误导。相反，我们通过评估它们如何影响 IJB-A 和 IJB-B 基准上的人脸识别准确性来将我们的 FPN 与现有方法进行比较：使用相同的识别管道，但改变人脸对齐方法。我们的结果表明，（a）在 300W 基准上测量的更好的地标检测精度并不一定意味着更好的人脸识别精度。 (b) 我们的 FPN 在两个基准上都提供了出色的 2D 和 3D 人脸对齐。最后，©，FPN 以相对准确的地标检测器的一小部分计算成本对齐人脸。因此，出于许多目的，FPN 是一种比使用面部标志检测器更快、更准确的面部对齐方法。

任务是人脸对齐，那关键点坐标应该可以用来驱动avatar吧，所以也算相关？

开源：https://github.com/fengju514/Face-Pose-Net

ExpNet: Landmark-Free, Deep, 3D Facial Expressions", in the 13th IEEE Conference on Automatic Face and Gesture Recognition, 2018【可精读】

这前三篇都是同一个团队的工作，看起来很扎实。论文笔记：