3D手势姿态跟踪算法：手机端实时检测，多个手势同时捕捉

就在不久前，Google 人工智能实验室宣布，他们在「实时手部跟踪」方面取得了新的进展，并将这项新技术运用在了 MediaPipe 中，这也是 AI 计算机视觉任务的一大突破。这一技术不光可以在手机上实现实时捕捉性能，甚至可以同时对多个手的动作进行跟踪。目前，Google 已经将该项目开源，并且发布了相关博客介绍了这项技术，雷锋网 AI 开发者将其内容整理编译如下。

概述

能够对手的形状和运动轨迹进行感知是改善用户在不同的技术领域和平台上的体验的一个重要组成部分。例如，它可以实现手语理解和手势控制，还可以使数字内容和信息叠加在增强现实（AR，https://ai.googleblog.com/search/label/Augmented%20Reality  ）的物理世界之上。虽然对我们来说这个能力是天生的，但强大的实时手部感知是一项极具挑战性的计算机视觉任务，因为手往往会自我遮盖或相互遮挡（例如手指/手掌之间的遮蔽或者握手），而且手部之间也缺乏高对比度。

我们现在发布了一种新的手部感知方法，并且在 6 月的 CVPR 2019 大会上，我们已经对该方法开放了预览。在这个方法展示过程中，我们通过 MediaPipe——一个开放源码的跨平台框架，来构建了处理视频和音频等类型的不同模式感知数据的框架。

该方法通过机器学习（ML）从单个帧中推断出一只手的 21 个 3D 关键点，从而提供了高保真的手部和手指跟踪。目前最先进的方法主要依靠强大的桌面环境进行推理，而我们的方法可以在手机端实现这个实时性能，甚至还可以扩展到对多个手的同步跟踪。

我们希望通过提供该手部感知功能给广泛的研究和开发社区，能够有利于大家创造出更多全新的用例，同时激励更多新应用程序和新研究途径的出现。

图 1 通过 MediaPipe 在手机上进行实时 3D 手部感知。我们的解决方案是使用机器学习从一个视频帧计算手的 21 个三维关键点。图中深度通过颜色灰色程度表示。

用于手跟踪和手势识别的机器学习架构

我们的手部跟踪解决方案使用了一个机器学习架构，该架构由几个模型共同组成：

• 掌上检测器模型（称为 Blaze