3D Hand Pose Estimation Using Randomized Decision Forest with Segmentation Index Points

Abstract

  • 我们提出了一种使用随机决策森林框架的实时3D手姿态估计算法。
  • 我们的算法将深度图像作为输入,并生成一组骨架关节作为输出。
  • 以前基于森林的决策方法通常会在很早的阶段为点云中的所有点提供标签,并对联合位置进行投票。
  • 我们的算法在到达叶节点的最终决策之前,只跟踪一组更灵活的虚拟地标点,称为分段索引点(SIP)。
  • SIP表示骨架关节子集的质心,它们位于从SIP扩展的分支的叶子处。
  • 本文将SIP融合到最近潜在回归森林手部姿势估计框架:
  1. 首先,我们设计了一种新的森林生长策略,该策略是SIPS引导的随机特性决定的。
  2. 其次,我们加快了训练过程,因为只有sips是在非叶节点上估计的,而不是骨骼关节。
  3. 最后,在公共基准数据集上的实验结果清楚地显示了该算法相对于以前最先进的方法的优势,并且我们的算法在正常CPU上以55.5 fps的速度运行,没有并行性。

Introduction

  • Tang等人建议使用包含随机二叉决策树集合的潜在回归森林(LRF)框架进行手位估计。 其算法的一个关键创新是使用潜在树模型(LTM)在树推理过程中指导骨骼关节的搜索过程,并以无监督的数据驱动方式学习LTM。
  • 本文提出的手位估计算法也以RDF为基本框架 , 我们引入了一种新的思想,即分割索引点(SIPS),来指导搜索过程,而不是使用LTM。 
  • 与预先学习并固定用于不同姿势的LTM相比,SIP更灵活,并能自动调整姿势变化。因此,SIP有效地适应大的姿势扭曲和关节。 
  • 本文所提框架的优势:
  1. 使用SIPS允许决策林将最终骨架定位推迟到后期,从而避免为更精确的决策积累更多信息。
  2. 基于三维骨骼关节的聚类结果,对SIPS进行无监督训练,从而对不同的姿势变化进行自适应。
  3. 新的森林生长程序是由一个随机的、有特色的二元特征指导的,这取决于SIPS,而不依赖于特定的手工模型。 

Related Work

  • 人体姿态估计算法是肖顿等人的研究成果。他们使用RDF为人体的所有像素指定标签,并进一步推断人体关节的位置。
  • 他们使用了相同的RDF方法,但每个标记的像素将为每个关节提出一个移位矢量,平均移位矢量将得出最终关节位置。这种方法大大提高了内体关节的准确性,即使它们是闭塞的。 
  •  作为一种非基于模型的方法,Keskin等人将RDF改进为多层,以解决姿势可变性问题。他们将手的姿势分配给相应的形状类,并使用为该类专门训练的姿势估计器。
  •  与以前大多数基于森林的算法相比,它们的解决方案使用了一个独特的LRF框架,该框架由无监督潜在树模型(LTM)指导。该算法是非常有效的,它不给像素分配标签,而是执行二分法的分治搜索过程。 
  • 我们的工作受到了[27]和[8]的启发,可以看作是一种由建议的分割索引点(sips)指导的粗到细骨骼关节搜索算法。低水平sips在决策林中始终保持较高水平sips的偏移向量,这些sips收敛到叶中的真手骨骼关节位置。 

Framework and Methodology

  • 主框架设计为二元随机决策树(RDF),由一组随机决策树(RDT)组成。 
  • 对于每个RDT,输入手三维点云递归地划分为两个内聚子区域,直到每个子区域仅包含一个骨骼关节。 然后,对所有RDT进行加权投票,以报告所有手骨关节的位置。 
  • 为了更好地划分手部拓扑结构,提高检测精度,我们引入SIPS作为这些子区域的指导。 
  • 发展随机决策树(RDT)的目的是建立一个树结构,用于搜索输入深度图像和检索手的所有骨骼关节。 
  • 在RDT中,我们在树之间放置一个特殊的缓存来记录sip及其相应的信息。RDT有三部分节点类型:拆分节点、划分节点和叶节点。拆分节点对输入数据使用RBF,并决定将它们路由到左侧或右侧。划分节点将当前搜索手分区划分为两个不相交的较小子区域,并将输入数据并行地沿两条路径传播。 当我们到达RDT中的叶节点时,报告了单个骨骼关节的搜索端和位置。 

Conclusion

  • 本文进一步改进了文献中的工作,提出了一种新的基于SIPS的随机决策林(RDF),以实现单深度图像的实时三维手位估计。手部姿势估计框架不受某个已知固定手部拓扑模型的指导,因此,可以在RDF树的每个层次上实现更灵活的手部骨骼关节聚类。在输入训练原始数据图像标签受视点限制的情况下,该策略能更好地处理清晰度。由于运行时速度非常低,仍然处于实时水平,因此我们的实现优于最先进的算法。 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值