Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data

《Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data》

这篇文章断断续续读了也有几个月了，一直想写写关于此论文的理解，今日终于动笔。先交代一下：接下来的内容将分为两部分，论文原理讲解与代码以运行也遇到的问题。手部姿态估计研究者比较少，关于此文章的中文博客也很少。写下此文希望能对您有所帮助，如有错漏，欢迎指出，不胜感激~

温馨提示：此文需要配合论文原文食用。

一、论文原理

该论文称精度达到了state-of-the-art,速度有100帧每秒

1.创新点

①精度高、速度快
②提出逆运动学网络（IKNet）

2.整体框架

论文的行文框架清晰明了:可以先简单分为两部分（DetNet+IKNet）

可以看到从single image回归3D pose的过程还是遵循了经典的框架流程，做到这一步作者还不满意还弄了个建模出来（为什么搞着一步，作者在原文中提及了，主要是工程应用什么的巴拉巴拉……）

3.DetNet

DetNet以单个RGB图像为对象，在图像空间中输出相对根和尺度归一化的三维手部关节预测和二维手部关节预测。DetNet的体系结构包括三个部分:特征提取器、2D检测器和3D检测器。