人脸扫描建模_单张图像重建3D人手、人脸和人体

• 1. 论文简要
• 2. 背景介绍
• 3. 相关研究
  • 3.1 人体建模
  • 3.2 人体结构推理
• 4. 本文方法
  • 4.1 统一模型SMPL-X
  • 4.2 拟合SMPL-X到单张图片（SMPLify）
  • 4.3 人体姿态先验
  • 4.4 碰撞惩罚
  • 4.5 性别分类器
  • 4.6 速度优化
• 5. 实验验证
  • 5.1 数据集
  • 5.2 实验对比
• 6. 实验结论

1. 论文简要

为了便于分析人类的行为、互动和情绪，本文从单目图像中计算出人体姿态、手姿态和面部表情的三维模型。为了实现这一点，本文使用数千个3D扫描来训练统一的人体3D模型，SMPL-X，它通过完全铰接的手和富有表情的脸来扩展SMPL。没有成对图像和标签，直接回归SMPL-X的参数是非常具有挑战性。因此，本文采用SMPLify方法，估计二维特征，然后优化模型参数来拟合特征。本文在以下几个重要方面对SMPLify进行了改进：

• 检测与脸、手和脚对应的2D特征，并将完整的SMPL-X模型与这些特征进行匹配；
• 使用一个大的动作捕捉数据集训练神经网络先验姿态；
• 定义了一种既快速又准确的渗透惩罚方法
• 自动检测性别和合适的身体模型(男性、女性或中性)
• 采用PyTorch实现实现了超过8倍的加速

本文使用新的方法SMPLify-X，使SMPL-X既适合于受控图像，也适合于自然图像，并且一个新的包含100张伪真实标签的图像数据集上评估3D精度。这是迈向从单目RGB数据自动表达人类动作捕获的重要一步。

论文和代码：https://smpl-x.is.tue.mpg.de

2. 背景介绍

人类通常是图片和视频的中心元素。理解他们的姿势，以及他们与世界的互动对整体场景理解至关重要。目前大多数的工作主要在2D上对人体姿态，人手关键点以及人脸进行研究，由于真实的场景是以3D为基础的，并且缺乏3D模型和丰富的3D数据，因此捕捉人体，人手和人脸的3D表面异常困难。为了解决这一问题，第一，需要构建能够自由表达整个人体的模型，第二，需要能够从单张图片中提取这样的模型。

为此本文从从一个大型的三维扫描体中学习新的身体、脸和手模型。新的SMPL- X模型是基于SMPL的，并保留了该模型的优点：与图形软件兼容、简单的参数化、小尺寸、高效、可区分等。本文将SMPL与FLAME模型和MANO人手模型结合起来，然后将这个组合模型得到5586个3D扫描。通过从数据中学习模型，本文捕获了身体、脸和手的形状之间的自然关联。模型的表达能力可以在下图中看到，其中本文将SMPL-X拟合到表达性RGB图像中。SMPL-X免费用于研究用途。

目前有一些方法通过深度学习的方法从单张图片中回归出SMPL的参数，但是要估计带有人手和人脸的3D人体缺乏有效的训练数据。为了解决这一问题，首先，本文使用OpenPose ”自下而上“ 的估计身体、手、脚和脸的二维图像特征，然后使用SMPLify-X方法将SMPL-X模型 “自顶向下” 地匹配到这些2D特性。然后，本文对SMPLify做了几项重大改进。具体来说，本文使用VAE变分自动编码器从大数据集的运动捕捉数据中学习一种新的、性能更好的姿态先验。这个先验是至关重要的，因为从2D特征到3D姿态的映射是不明确的。其次，本文还定义了一个新的(自)渗透惩罚项，它明显比SMPLify中的近似方法更精确和有效；它仍然是可微的。本文训练了一个性别检测器，用它来自动决定使用男性、女性或中性的身体模型。最后，采用直接回归方法来估计SMPL参数的一个动机是SMPLify比较