3DHandPose：3D Hand Shape and Pose Estimation from a Single RGB Image

论文链接：https://openaccess.thecvf.com/content_CVPR_2019/html/Ge_3D_Hand_Shape_and_Pose_Estimation_From_a_Single_RGB_CVPR_2019_paper.html
论文代码：https://github.com/3d-hand-shape/hand-graph-cnn
论文出处：2019CVPR
研发团队：南洋理工大学（Liuhao Ge）

1. 摘要

• 论文提出的方法可以用来估计full hand shape和hand pose从单RGB图像中。
• 提出了一种Graph Convolutional Neural Network (Graph CNN)，可以重塑手表面的full 3D mesh，其中包含手的shape和pose。
• 制作了一个大规模的合成数据集，包含手的3D mesh和3D pose。
• 在真实世界的没有3D ground truth的数据集上进行微调时，借助depth map进行弱监督训练。
• 在自制数据集和2个公共数据集上进行验证，本文提出方法具有优越性。

2. 创新点和贡献

• 提出了一种基于Graph CNN的端到端的hand mesh生成方法。并且，通过估计full hand mesh，能够提高hand pose估计的准确率。
• 提出了一个在真实世界数据集上的弱监督训练pipeline。
• 提供了第一个大型的合成的基于RGB的3D hand pose和shape的数据集，和一个小型的真实世界的数据集。

3. 数据集的制作

数据包含500个常规的手势，1000个摄像头视角。
为了模拟真实世界的多样性，我们使用30个照明和5种皮肤颜色。
渲染使用全局光照。
总共的，合成数据包含375,000人手RGB图像，使用315,000作为训练，60,000作为验证。
在训练过程，从COCO, LSUN, 和 Flickr等数据集随机的抽取和裁剪一些作为背景图片。
此外，为了更好的在真实图片上验证方法，作者制作了一个真实场景下的数据集，包含583张RGB图像，注释包括：3D hand mesh and 3D hand joint locations。为了便于3D的注释，使用RealSense 获取相应的深度图像。这个数据集只用来做验证。

4. 方法

• 本文的方法是提出了一种直接从RGB图像产生full 3D hand mesh和3D hand joint 的方法，如上图所示。
• 输入的图像是以hand 为中心的RGB图像，经过一个two-stacked hourglass网络，输出2D heat-maps。
• 输出的2D heat-maps，结合图像特征图，通过一个residual网络编码成一个潜在的特征向量。Residual网络包含8个residual layers和4个 max pooling layers。
• 潜在的特征向量输入到一个Graph CNN中，推断出3D hand mesh的N个向量的3D坐标。
• 3D hand joint 坐标通过一个简化的线性Graph CNN从3D hand mesh向量中线性回归出来。
• 训练过程中，先在合成数据集上进行训练，然后在真实场景数据集上进行fine-tune。
• 合成数据集上，训练端到端的网络使用全监督的方法。使用2D heat-map loss, 3D mesh loss, and 3D pose loss.
• 在现实场景数据集上，使用弱监督训练，不需要3D hand meshes 或者3D hand joint locations的ground truth。为实现训练，采用深度图像获取ground truth。