Unity手部追踪实现实时手指追踪教程：基于Mediapipe

韦姬秀Warlike

于 2024-09-13 22:43:22 发布

阅读量241

点赞数 2

本文链接：https://blog.csdn.net/gitblog_07548/article/details/142234129

版权

Unity手部追踪实现实时手指追踪教程：基于Mediapipe

UnityHandTrackingWithMediapipe Realtime hand tracking and finger tracking in Unity using Mediapipe 项目地址: https://gitcode.com/gh_mirrors/un/UnityHandTrackingWithMediapipe

项目基础介绍与编程语言

项目名称： UnityHandTrackingWithMediapipe
项目描述： 这是一个展示如何在Unity引擎中利用Mediapipe实现实时的手部及手指追踪的演示项目。它设计为在Android设备上运行追踪部分，但其原理同样适用于桌面或iOS平台。通过Mediapipe检测手部标志点，并借助adb与protobuf在PC上接收并解析数据。
主要编程语言： C#, ShaderLab

关键技术和框架

Mediapipe: Google开发的多用途机器学习应用框架，特别适合于手势识别。
Unity Engine: 一款广泛使用的跨平台游戏引擎，支持强大的脚本环境和3D交互设计。
Android Build Support: Unity中的组件，用于构建并部署Android应用程序。
ADB (Android Debug Bridge): 用于调试Android设备的命令行工具。

安装和配置指南

准备工作

系统要求： 确保你的电脑运行Windows 10或更高版本。
硬件需求：
- 一台支持USB调试的Android设备（建议Android 8.0或以上版本）。
软件准备：
- Unity Hub，安装Unity 2019.4.6f1或相近版本，确保包括Android Build Support。
- Android SDK & NDK Tools, 通常通过Unity Hub安装或单独下载配置。
- 安装adb工具，该工具一般位于Unity安装目录下的Editor/Data/PlaybackEngines/AndroidPlayer/SDK/platform-tools/ 或者 Android SDK的platform-tools文件夹中。

安装步骤

第一步：克隆项目

使用Git客户端或直接从GitHub下载项目到本地。

第二步：环境设置

开启Android手机开发者模式与USB调试：
- 连续点击手机“关于手机”里的“版本号”多次直到提示成为开发者。
- 在“开发者选项”中启用“USB调试”。
连接设备与授权：
- 使用USB线将Android设备连接至电脑，允许USB调试权限。

第三步：配置Unity项目

打开Unity Hub，创建一个新项目或导入克隆的项目目录。
确保项目设置中包含了Android平台的支持。
导航至Unity项目的SampleScene。
更新ADB路径：在场景中找到unitychan > HandLandmarkAndRigs > HandLandmarkSet，确保ADB Path指向正确的位置（参照上面的路径示例）。

第四步：部署与运行

安装APK到设备：
- 可以通过Unity直接构建并运行，或者手动使用adb命令：adb install UnityHandTracking.apk。
- APK位于项目的Releases目录下，如果没有预编译版本，则需在Unity中构建一次。
启动项目：
- 回到Unity编辑器，点击播放按钮。Unity应自动部署应用到设备并开始数据接收。
最佳实践：
- 设备保持竖直位置。
- 双手持手，确保光线充足以便最佳追踪效果。