基于点云的骨骼感知三维人体形状重建

基于点云的骨骼感知三维人体形状重建

Skeleton-Aware 3D Human Shape
Reconstruction From Point Clouds

论文链接：

http://openaccess.thecvf.com/content_ICCV_2019/papers/Jiang_Skeleton-Aware_3D_Human_Shape_Reconstruction_From_Point_Clouds_ICCV_2019_paper.pdf

摘要

这项工作解决了从点云重建三维人体形状的问题。考虑到人体形状具有高维、大关节的特点，采用最新的参数化人体模型SMPL来降低学习空间的维数，生成平滑有效的重构。然而，由于位姿表示的模糊性和局部性，SMPL参数，特别是位姿参数不易学习。因此，本文建议将骨骼感知融入到三维人体形状重建中基于深度学习的SMPL参数回归中。本文的基本思想是使用尖端技术PointNet++提取点特征，然后将点特征映射到骨架关节特征，最后映射到SMPL参数，用于点云重建。特别地，本文开发了一个端到端的框架，其中本文提出了一个图聚合模块，通过提取更好的点特征来扩充PointNet+，一个注意模块，通过更好地将无序的点特征映射到有序的骨架关节特征，以及一个骨架图模块来提取更好的关节特征来进行SMPL参数回归。整个框架网络首先在综合数据集上以端到端的方式进行训练，然后在线调整到未经观察的数据集上，在无监督的情况下损失以弥补训练和测试之间的差距。在多个数据集上的实验表明，本文的方法与最新的解决方案相当。

1. Introduction

本文提出用点特征到骨架特征，再从骨架特征到SMPL参数的映射来代替点特征到SMPL参数的映射。然而，这条新管道又带来了另一个障碍。众所周知，PointNet++提取的点特征是无序的，因为它需要适应点的排列，而后续的关节特征则需要遵循骨架图的特殊顺序。从无序的点特征映射到有序的联合特征，同时对点的排列具有鲁棒性，这是一个重要的问题，为此本文提出了一个注意模块（AM）。另外，本文注意到PointNet++仍然使用多层感知（MLP）独立地学习各个点的特征，并通过邻域间的池来累积局部上下文，因此本文提出了一个基于图卷积的局部图聚合（GA）模块，以充分利用邻域间的局部上下文而不必承担巨大的内存负担需求和点交互损失。

此外，本文还提出了一个基于图卷积的骨架图模块（SGM），利用骨架图中的关节依赖关系来学习更好的关节特征。图1描绘了正在对合成数据进行端到端训练的整个网络管道。还引入了一个在线调整步骤来利用无监督的损失来缓解数据集的差距。

本文的主要贡献有两方面。

•本文建议将骨骼感知纳入三维人体重建中基于深度学习的SMPL参数回归。重点介绍了点特征到骨架关节特征再到点云重建的SMPL参数映射的一般流程。

•本文开发了一个端到端的框架，在这个框架中，本文提出了一个图形聚合模块，它被添加到PointNet++中以提取更好的点特征，一个注意模块来更好地映射无序的点特征，即添加到有序骨架关节特征中，并通过骨架图模块提取出更好的关节特征用于SMPL参数回归。

2. Related Work

在这一部分中，本文回顾了三维人体形状重建、基于骨架的人体分析、点云分析和图形神经网络的相关工作。三维人体形状重建：随着深度学习的普及，最近的研究尝试使用神经网络直接学习从点云[13，20]或图像[42，31，16，5，27，1，28]重建三维人体。Groueix等人
[13] 直接学会变形一个给定的模板进行人体重建，但往往得到扭曲的人体形状，特别是在手臂的形状上。利塔尼等人
[20] 提出了一种变分自动编码器来学习可变形形状的完成，这往往会导致粗糙表面。瓦罗尔等人
[42]学会了用低分辨率的体积表示重建人体的体积形状。

利用参数化人体模型，从单个图像[31、16、5]重建也变得可行。另一种不同的方法[40，33，47]是通过预测人体表面的密集对应关系来重建人体形状。在本文的工作中，本文还使用SMPL模型[21]作为人体形状的表示。另一项相关研究是动态人体重建或运动捕捉，它探索了行为人的时间一致性[48，15，14]，甚至可以重建衣服和纹理[54，4，2]。 然而，鲁棒的人体姿态估计仍然是一个有待解决的问题，特别是对于快速运动，基于序列的人体重建严重依赖于良好的人体姿态初始化。因此，在最近的工作中，IMU传感器被引入到鲁棒姿态估计中[55，45]。本文的工作侧重于不同的场景，即从原始点云进行三维人体重建。

基于骨骼的人体分析：

骨骼信息广泛应用于运动捕捉[48，51，52