【手势识别-论文学习】 Video-based Hand Manipulation Capture Through Composite Motion Control

(SIGGRAPH2013) Video-based Hand Manipulation Capture Through Composite Motion Control

这篇文章是粗读，因为该文是对视频序列的全局优化，所以实时性很差，和我项目相关性小。（后面的重建，优化过程没有细看）

文章概要：

作者希望能捕捉手在和物体交互的时候的精细动作，然后在3D环境中虚拟手和物体的交互。同时因为是对整个视频序列进行模拟，所以希望不要出现“unpleasant visual artifacts such as motion jerkiness, hand-object penetration, and improper interaction between the hand and object.”

因此步骤是：

1. 用scanner扫描建立一个手部3D模型，16个点，28个自由度，然后每一帧都用PD控制模型去计算每一个自由度的角度和速度等。
2. 3D模型运动以后，调整mesh然后在不同角度进行投影，形成多张摄像头视角的图像，这是假设值。
3. 用6个摄像头捕捉实际中的图像（6个...），这是观测值。
4. 目标就是，让观测值和假设值尽可能的匹配：所以需要一个匹配的标准，作者使用了轮廓，颜色，边缘三个标准来计算两者的匹配程度。
5. 在全局（视频序列）上找一个全局最优解。但是因为在所有的帧上找最优解，解空间维度过高，因此作者将手和物体发生了碰撞的时刻作为分割点，这样来降低解空间的维度。

本文的demo视频效果看起来不错。另外比较赞同作者的一些观点：

• data-driven的方法始终是找发生过的情况的相似解，不论是generative或者是discriminative的，都很难用于差异性较大的未知情况，比如说手抓不同的物体的方式是不同的，不可能把所有情况都作为样本来训练模型。因此手势识别中模型的加入是很有必要的。
• 对于纯靠image的appearance的方式的确很难做到很好的稳定和精细，尤其是当只有两个或更少的摄像头时，遮挡问题会很严重，观测值丢失，会导致序列上手会发生jerk等现象。并且，也很难去做从image上去捕捉细微动作。