MediaPipe Hands: On-device Real-time Hand Tracking,2020
文章目录
自说自话:
- 双阶段,手掌检测 + 关键点定位,多只爪爪;
- 通过合成的手部数据训练得到各个关键点的远近关系,输出 2.5 D 信息,x,y,和 depth;
- 手掌检测而不是全手检测,能够降低问题复杂度。
Abstract
- 移动端实时 hand tracking,能够提供手部骨架;
- 两个模型:hand detector and hand landmark model;
- 实现通过 MediaPipe,一种构建交叉平台的 ML 方案。
Introduction
以往的手部姿态估计工作中,有的需要特殊的硬件,有的不够轻量用于移动端。
本文贡献:
- two-stage 的 hand tracking,可以在移动端实时地追踪多只手;
- 输入 RGB 图像,输出 2.5 D 的手部姿势;
- 可以在多平台部署,包括安卓、IOS 还有 Web。