【论文阅读-表情捕捉】High-quality Real Time Facial Capture Based on Single Camera

来自FACEGOOD的面部捕捉，论文标题：High-quality Real Time Facial Capture Based on Single Camera，FACEGOOD亲自发的解析：https://zhuanlan.zhihu.com/p/436866934

作为首要目标，我们做的事情是工业级、高精度，所有工作都是围绕着这个点开展。在实时方面我们尝试了很多方法，3DMM、传统的基于shape的方法，甚至3D摄像头，都不尽人意。主要是民用跟工业的矛盾，通用的民用路线无法满足高精度需求，举个例子，arkit的52个变形体非常通用了，玩一下效果也ok，但是52个变形体的天花板是非常低的，metahuman的变形体有600+，有些影视作品的绑定甚至上千个，这种特殊化场景，在工业上是非常常见的。传统做法还有个问题，计算过于依赖landmark，跟不好对不齐就影响到了最终的计算，我们提出了一种思路，直接跳过了landmark，把图像映射到权重或者4D顶点，1万点的4D输出，只需要5ms，非常快。这种方式还有个好处，足够鲁棒，对高频率大幅度的一些头盔震动有很好的抑制能力，另外在表情的自定义方面也有很好的潜力，例如我们用metahuman做的实验，很好的把舌头的动作重建了出来，模型在讲话的时候舌头也会跟着动。

（之前没接触过这个方向，所以机翻一下introduction）

Introduction

面部表情捕捉技术被分为 landmark driven, point cloud driven, sound driven and image based.

基于关键点的：
人类通过面部表情表达他们的内心感受，例如快乐或愤怒。如何使计算机自动识别表情是一个重要的研究领域，吸引了众多学者为它倾注精力和时间。 Essa et al.[Essa et al., 1996] 表明面部动画方法也是为基本视频输入而设计的，但是它们对光流或特征跟踪的严重依赖可能会导致不稳定。面部表情在动画、游戏、电影和电视制作中往往扮演着不可或缺的角色。

在电影中，金刚、咕噜等面部结构奇特的人物的生物动画就是通过这种技术生成的。如何利用单个演员的表情数据来驱动不同的人脸模型，在人脸模拟领域引起了极大的关注。在动作捕捉领域，不同面部表情的动作数据被映射和配准。特征重建方法依赖于不同遮挡条件下的训练数据，但遮挡位置和类型太多，无法控制。 Li et al. [Li et al., 2018a] 设计了用于感知遮挡的补丁门控旋转中性网络（pg-cnn），可以自动感知人脸的遮挡区域，重点关注划分的24个非遮挡子区域用更多的特征信息，将这 24 个子区域输入到一个注意力网络中，得到加权级联的局部特征。 Li et al. [Li et al., 2018b] 通过引入全局候选单元进一步扩展了 pg-cnn 方法，以补充人脸图像的全局信息用于表情识别。然而，这些基于人