利用 MediaPipe 的手部追踪来控制您的 Mirru 机械手

客座博文 / 来自 Mirru 和 Tweag 工程团队

Mirru 应用是用来做什么的？

Mirru 是一款正在开发中的免费开源 Android 应用，可以通过追踪手部 (Hand Tracking) 来控制机械手。通过这款应用，用户可以将其真手的抓握动作实时映射到机械手，而这种机械手可以通过 3D 打印和自行组装得到，成本低廉。通过 Mirru，我们希望为当前昂贵、繁琐的专有技术提供一种廉价、直观和开放的端到端替代方案。

图 1：通过 Mirru 应用和 MediaPipe 手部追踪移动机械手手指

Mirru 团队由 Violeta López 和 Vladimir Hermand 合作成立，这两位独立设计师和技术专家目前居住在巴黎。为了启动这个项目，该团队参加了 Tweag 的 Open Source Fellowship program 计划，从该计划的工程师之一 Dorran Howell 处获取资金支持、指导和数据工程专业知识。该计划帮助 Mirru 从基础开始启动项目。

• Tweag 
  https://tweag.io

• Open Source Fellowship program 计划
  https://www.tweag.io/blog/2020-02-14-os-fellowship/

我们这一计划为期 3 个月，旨在开发出一个可以利用计算机视觉技术控制任何蓝牙开源机械假肢的初版 Android 应用，并在 Google Play 商店免费提供，让用户可以根据自己的手打印机械手并进行组装，然后下载应用来操控。在 MediaPipe 的帮助下，我们无需构建自己的机器学习模型（因为没有相关资源或训练数据）即可快速构建应用原型。

为什么要使用手部追踪？

利用手机和带有手部追踪功能的前置摄像头，您能够用一种新颖实惠、简单易用且功能繁多的方式控制假肢。

假设我左手截肢，拥有一个机械假肢。每天，我都需要使用机械手来执行许多不同的抓握动作。例如，我需要使用双指张合或三点抓握的手势来拾取小物品，或需要用整个手拿起水果或杯子等物品。我通过肌电传感器来改换和执行这些抓握动作，例如，让我可以通过绷紧和放松上肢肌肉来张开手掌和进行抓握。这种肌电传感器在身体和机械手之间起主要的连接作用。