(ICCV2015) 3D Object Reconstruction from Hand-Object Interactions

(ICCV2015) 3D Object Reconstruction from Hand-Object Interactions

作者：Dinitrios Tzionas, Juergen Gall

可取的想法：

      敢于对常规的做法产生质疑。

本文的思路来源：

      近来RGB-D相机已用于3D物体的重建，基本的大场景有：在空间中可以操纵的移动相机，静态相机+旋转台，静态相机+手持物体旋转。一些使用RGB-D相机进行3D重建的商业的软件和系统有Falitec, Skanect, iSense, KScan3d,  Shapify, Kinect-Fusion等。

      手持扫描与带有电缆进行移动相机相比对手大小的物体进行重建更加的实际可操作，而且现有的手持扫描系统和重建技术已经可以成功的重建很多种类的物体，但他们依赖于物体的稳定性和显著的的几何和纹理特征。对于缺乏这样特征的物体不能进行重建，而且在重建的过程中丢弃手的信息。

      但是现在很多物体都是以简约对称的形状和缺乏纹理为特征，本文提取了 手的移动信息，因为手的移动提供了物体移动的额外信息，所以有助于重建无特征且高度对称的物体，并把手的信息用于物体的3D重建中去。

相关论文工作：

现有的手持扫描系统有[28]，[37]，[38]，这些系统提供实时的帧配准和用户的交互性。
[25]使用了一个离线的优化步骤去解决loop closure问题，但是最终结果可能与中间结果的差异较大。         
[38]对他本人的手持扫描系统[37]增加了在线的loop closure。
[26]使用了一个水平集的函数用于同时进行追踪和重建物体。
为了重建缺乏纹理且对称的物体，需要来自于传感器，标识物[21]或机械臂的额外信息[12,13]。
[27,9,8,23,14,1]是追踪手与物体的交互的相关论文。

[20]可以重建无纹理的甚至透明的物体，是通过监控一个已知工具与要重建的物体进行交互，这个工具需要掠过整个物体，通过对空间进行雕刻来对未知物体进行重建，缺点是很耗时且需要额外的工具。

本文重建物体的大致流程：

1. 对RGB-D图像进行预处理：

          仅保留图像指定量范围内的点，接着使用GMM(Gaussian-Mixtures-Model)对图像进行皮肤检测，得到蒙板图像 Do和Dh。

2. 手姿态的估计[35]：

          采用基于模版的方法进行姿态的估计，本文中使用手模板网格且通过骨架和线性混合皮肤参数化手的姿势。然后最小化一个目标函数对手的姿势进行估计。

3. 计算接触点：

          为手的每个末端计算与物体的点云的最近距离小于1mm的顶点的个数，如果一个末端有超过40个候选接触顶点，则称为接触骨（contact bone）。这个骨的所有顶点就称为接触点。结果得到每对帧的接触点匹配。

4. 使用基于特征的方法进行重建：

          大过程 →首先把当前的帧的观测点云与前一个帧进行配准，之后用ICP算法把当前配准转换过的源帧与之前累积的转换过的点云配准用于完善细化。

          结合从Do中提取的特征和从Dh和姿势参数中提取的接触点用于成对配准。结果需要最小化一个能量函数来实现配准。