CVPR2021：单目实时全身动作捕捉（清华大学）

Monocular Real-time Full Body Capture with Inter-part Correlations

摘要：

本文提出了第一种实时全身捕捉的方法，该方法通过单一颜色图像的动态3D人脸模型来估计身体和手的形状和运动。研究人员使用了一种新的神经网络框架，考虑了身体和手部之间的相关性，并能够以高效率进行内部运算。与以往的研究不同的是，该研究方法是在多个数据集上联合训练，分别关注手部、身体或面部，不需要同时标注所有的数据。这种通过多数据集进行训练的方法，使得该框架具有优越的泛化能力。与早期的单目全身方法相比，本文中的方法通过估算统计人脸模型的形状、表情、反照率和光照参数等捕捉更具有表现力的3D人脸的几何形状和颜色。该方法在公共数据集基准上测试获得较高的精度，同时能够提供更完整的面部重建。 

研究贡献：

(1)   第一种实时方法，可以从单一颜色图像中共同捕获人的3D身体，手部和脸部。

(2)   一种新颖的网络结构，并利用人体内部的相关性进行手部关键点检测，从而提高了计算效率和准确性。

(3)   利用解耦模块，注意机制和二级主体关键点检测结构等，提高了该框架的通用性。 

研究方法：

如上图所示，研究人员将单目彩色图像作为输入，并输出2D和3D关键点位置，关节角度以及身体和手部的形状参数，以及面部表情，形状，反照率和光照参数。然后，研究人员对新的参数模型进行动画处理，以恢复致密的人体表面。整个网络框架主要被划分为四个独立的模块：DetNet，是根据人体图像估算人体和手部关键点的位置，其中嵌有新的交互特征，注意力机制和二级人体关键点检测结构。BodyIKNet和HandIKNet，是根据人体和手部的关键点坐标估计形状参数和关节角度；FaceNet，是用于从人脸图像裁剪中回归获取人脸的参数。

(1) DetNet

关键点检测网络DetNet的目标是根据输入图像估算3D身体和手部关键点坐标。因为身体和手部在图像中的比例不同，因此单个网络无法同时处理两项任务。简单常用的解决方案是使用两个单独的网络，但是这意味着将需要更长的运行时间，从而难以满足实时性。该项研究中，研究人员观察发现：利用身体关键点估计提取的手部区域的全局特征可以与手部构建分支共享。通过将它们与从手部区域中单独提取的高频局部特征相结合，可以避免对手部高级特征的计算，并且可以提供用于手部关键点检测的身体信息，更有利于获得更高的精度。

(2) IKNet

稀疏的3D关键点位置不足以驱动CG角色模型，如果想要对人体网格模型进行动画处理，并且获得密集的人体表面，