【阅读论文】Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies

一、基本信息

题目：Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies

时间：2018年

下载地址：https://arxiv.org/abs/1801.01615

主题：Image Processing，Pose Estimation

二、效果图

三、摘要

We present a unified deformation model for the marker-less capture of multiple scales of human movement, including facial expressions, body motion, and hand gestures. Aninitial model is generated by locally stitching together models of the individual parts of the human body, which we referto as the "Frankenstein" model. This model enables the full expression of part movements, including face and hands by a single seamless model. Using a large-scale capture of people wearing everyday clothes, we optimize the Franken-stein model to create "Adam". Adam is a calibrated model that shares the same skeleton hierarchy as the initial model but can express hair and clothing geometry, making it directly usable for fitting people as they normally appear in everyday life. Finally, we demonstrate the use of these models for total motion tracking, simultaneously capturing the largescale body movements and the subtle face and handmotion of a social group of people.

同时进行脸、身体、手姿态估计，并融合到三维模型Frankenstein（有趣的科学怪物弗兰肯斯坦）。

之后使用Frankenstein和数据集训练有头发和衣服的Adam模型。

 

四、流程

1、获得模型

利用SMPL获得Body model，使用PCA model获得Face model，使用Artist rigged hand mesh获得Hand model；

难点：不同模型如何连接在一起；

解决：使用“bending matrix”将不同模型融合在一起。

【SMPL参考】https://blog.csdn.net/linghugoolge/article/details/87945241

2、获得姿态

使用OpenPose获得Pose

【OpenPose论文阅读参考】https://blog.csdn.net/linghugoolge/article/details/87944944

3、获得三维点云数据

 use the commercial software Capturing Reality to obtain 3D point clouds from the multiview images。

使用商业软件将多个二维图片转为三维图片。

4、目标函数

分别为关键点的误差、迭代最近点（Iterative Closest Point, ICP）的误差、连接约束误差、3D点云的噪声误差组成。

【迭代最近点】迭代最近点算法（ICP）是一种点云匹配算法。其思想是：通过旋转、平移使得两个点集之间的距离最小。ICP算法由Besl等人于1992年提出，文献可以参考：A Method for Registration of 3D Shapes，另外还可以参考：Least-Squares Fitting of Two 3-D Point Sets。前者使用的是四元数方法来求解旋转矩阵，而后者则是通过对协方差矩阵求解SVD来得到最终的旋转矩阵。

5、优化过程

难点：关键点、3D点数量非常多

解决：首先对身体关键点进行优化，之后对所有关键点优化，最后ICP。

6、获得Adam

使用上面获得的Frankenstein与3D点云数据比较计算，迭代获得Adam。

五、创新点

1、将脸、身体、手势姿态估计融合到一起；

2、融合之后，使用SMPL获得三维模型；

3、使用上述训练的模型，获得对衣服和头发的建模。

六、代码

Github上暂时没有这个代码

六、感想

1、这篇文章获得了2018 CVPR Best Paper，将现有的技术融合，也可以做很优秀文章！

2、姿态检测，用在体感游戏、虚拟试衣等领域很有前景。