Kinect人体扫描的多级主动配准：从低质量到高质量

摘要

三维人体的配准一直是一个具有挑战性的研究课题。大多数传统的人体配准方法需要人工辅助，或其他辅助信息，如纹理和标记。这些方法大多数适用于从昂贵的扫描仪获得的高品质扫描。随着Kinect等低成本扫描设备的引入，人体的三维数据采集变得更加方便和方便。然而，由于低质量扫描中不可避免的孔、噪声和异常值，人体的配准变得更加具有挑战性。为了解决这个问题，我们提出了一种全自动化主动配准方法，该方法将高分辨率模板网格变形以匹配低质量人体扫描。我们的配准方法在两个级别的统计形状模型上运行：（1）第一层是一个完整的身体形状模型，它可以定义人体的基本体形；（2）第二层包括一组形状模型，用于每个身体部位，旨在捕捉更多的身体细节。我们相对应的程序遵循一个由坏到好的方法，它是稳健和有效的。实验表明，在精度方面，就噪声、孔和模糊部分普遍存在的低质量扫描的情况来说，我们的方法比先进的高品质网格的方法更好。

关键词：人体建模、统计形状模型、非刚体配准

1.介绍

    精确三维人体建模是许多应用中的一个基本问题，如设计、动画和虚拟现实。人体网格的建模是在注册扫描的语料库上进行的。然而，高质量人体网格的获取和网格的配准是具有挑战性的。目前公开的高质量人体数据集，如SCAPE（3）、浮士德（5）、TSCOA（8）都是由昂贵的激光扫描仪建造的，或者需要其他帮助（例如制造商、纹理或专业工具）。随着像Kinect这样的低成本扫描仪的出现，现在可以快速地扫描、建模和跟踪对象、房间或甚至人。目前，人体网格可以在几分钟内以不同的姿态捕捉到不同的身份。然而，低成本扫描仪所获得的扫描中普遍存在的噪声、异常值和漏洞给网格配准带来了更多的挑战。

为了配准3D扫描，提出了几种3D 匹配方法。利用可逆有限体积法将模板四面体网格控制到目标点云。缝合木偶模型采用基于粒子的方法的DPMP算法将图形模型对准目标网格。为执行非刚性ICP（迭代最近点）做了许多工作，它计算模板的每个顶点上的仿射变换，以允许模板和扫描的非刚性配准。虽然这些基于ICP的非刚性配准方法表现出较高的精度，但对缺失数据敏感，这可能导致错误的匹配结果。对于Kinect扫描仪，由于自我闭塞的部分，如胯部和腋窝，孔和扭曲在网格上是不可避免的。

为了忠实地配准从低成本扫描仪捕获的身体扫描，如Kinect，我们提出了一种多层次的主动体配准（MABR）方法，以自动构建一个无懈可击的、高质量的虚拟人体。我们的目标是对齐模板网格，使与Kinect获得的目标扫描尽可能接近。这里，模板网格是从现有的高质量人体网格数据集学习的平均形状。在我们的方法中，要进行多级配准。在第一层，总体模板和目标大致对齐。在第二层中，进行基于区域的配准，其中模板被划分为16个部分，并且每个部分分别去适应目标。对于扫描完成并充满躯干、腿和手臂等细节的身体部位，计算每个顶点的局部仿射变换。为了完整性，至于损坏的部分，如脚和手，我们使模板的相应部分在粗粒度级水平上进行变形。

利用所提出的方法，我们能够自动地从低质量扫描或点云重构高质量的3D网格。该技术可应用于各种应用中，如在虚拟服装应用中，从不同的立体的角度展示服装，帮助顾客选择最合适的服装。在虚拟游戏中，系统可以根据用户的粗略扫描立即生成逼真的全体化身，这得益于算法对低成本扫描仪扫描中普遍存在的缺失数据的鲁棒性。该方法避免了用专业工具建立高质量3D模型的繁琐手工工作，并且能够在2分钟内自动建立完整和高质量的网格，这有利于电视生产。该方法还可以集成在软件中，作为预处理原始扫描的工具，自动丢失丢失部分并配准扫描。

本文的主要贡献是：

首先，我们提出了一个完全自动配准方法，即使在嘈杂的低质量数据也能很好地执行。我们的方法遵循基于区域的方法来注册人体扫描，从而提高了配准的精度。根据二体部分的性质，我们的方法采用特定的配准策略，使得该方法对有噪声的Kinect扫描具有鲁棒性。

其次，我们为Xbox 360提供了一个用微软Kinect获得的250个真实人体扫描数据集。在低质量扫描的情况下，该数据集可用于评估配准算法的鲁棒性。在http://www.eecs.qmul.ac.uk/~zx300/k3d-hub.html上的该数据集可用于研究目的。

本文的其余部分结构如下。第二部分综述了网格配准技术的研究评论。第三部分详细描述了我们所提出的方法。第四部分我们还介绍了用于构建我们的K3D集线器数据集的Kinect扫描平台。第五部分展示了实验评价结果。第六部分对该研究进行了简要的总结。

2.相关工作

虽然形状匹配已被深入研究，但对于非刚性和铰接网格的完全对应仍然是具有挑战性的。几何信息通常用于提取局部特征。定向的标准向量和局部的标准二元模式（LNBPS）的直方图是基于表面法线的描述符。由于颜色信息不能表示3D网格域中的唯一特征，因此它通常被用作其他特征的辅助信息。除了使用局部几何特征外，许多作品将现有的2D特征扩展到3D域。3D Harris是利用Harris算子的二维角点检测方法的三维扩展。局部深度SIFT（LD-SIFT）通过将每个兴趣点的附近表示为深度图，并使用主要成分分析来估计其主角度，从而实现旋转不变，扩展SIFT特征。MeshSIFT用由形状索引和倾斜角度的级联直方图组成的特征向量来表征显著点邻域。MeshSIFT在三维人脸形状匹配中对表情变化、缺失数据和离群点具有鲁棒性。显然，这两种方法都依赖于局部形状特征，如曲率或角度。由于它们不是独立于姿态的，所以它们不能用于进行仿射变换的形状，如具有不同姿态的人体形状。

由于人体是等距的形状，许多作品利用等距来发现的对应关系。如果两个形状是完全等距的，则存在等距，即一个这些形状之间的距离保存影像，使得在一个形状上的任意两点之间的测地线距离与它们在另一个上的对应点之间的测地线距离完全相同。提出了利用形状对应来开发等距的不同方法。一种方法是将形状嵌入到一个不同的区域中，其中测地线距离被欧几里得距离所代替，这样可以在嵌入空间中测量和优化等距偏差。欧几里德嵌入可以使用各种技术来实现，例如经典MDS（多维尺度），最小二乘MDS