Efficient Hand Pose Estimation from a Single Depth Image

Abstract

• 我们从单个噪声深度图像中解决手姿态估计的实际问题。
• 提出了专用的三步流水线：初始估计步骤提供手部面内方向和3D位置的初始估计;候选生成步骤借助于旋转不变深度特征从霍夫投票空间生成一组3D姿势候选者;验证步骤提供最终的3D手姿势作为优化问题的解决方案。我们分析深度噪声，并提出建议，以尽量减少它们对整体性能的负面影响。
• 我们的方法能够与Kinect类型的噪声深度图像一起使用，并且可靠地产生对一般运动的姿态估计。进行广泛的实验以定性和定量地评估关于可以访问附加RGB图像的现有技术方法的性能。

Introduction

• Kinect型深度图像具有明显的深度噪声，这些噪声有效地降低了图像质量。特别是，区域有时会丢失并且在对象边界周围存在鬼影，具有未定义深度值的像素。
• 这导致我们提出专用的三步管道：初始估计步骤使用霍夫森林模型提供手的面内方向和3D位置的估计; 候选生成步骤使用现在对平面内旋转不变的深度特征，从不同的霍夫森林的投票空间产生一组有限的合理3D姿势; 验证步骤提供最终的3D手姿势作为优化问题的解决方案。
• 我们的系统在现有技术方面展示了其可比性或甚至更好的性能，通常使用额外的RGB信息。
• 我们的方法从单个深度图像估计3D手姿势，其适用于一般运动（即，与活动无关）。 据我们所知，这是唯一一个使用Kinect型噪声深度图像的系统，可靠地产生一般运动的姿态估计。
• 我们分析深度噪声，表明它们是从板载传感器的几何布局继承而来，并提供技巧以最小化它们对整体性能的负面影响。
• 与例如常用的手动运动模型不同。 假设手掌处于俯仰状态，我们的模型能够模拟棕榈拱形。</