Unity开发记录_7_使用 奥比中光相机 Femto Bolt 进行动作识别

已于 2025-03-18 15:49:36 修改
阅读量864 收藏 6
点赞数 16
分类专栏： Unity开发记录 文章标签： unity 数码相机 游戏引擎
于 2025-02-10 11:42:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42692089/article/details/145514396
版权

概要

最近研究了一下奥比中光相机 Femto Bolt ，尝试做了个Demo 进行简单的 动作识别。
最后得到的效果是 能够识别：抬起左手、抬起右手、抬起左腿、抬起右腿、抬起双手，五个动作。

项目开始

1.采用Unity插件进行Femto Bolt 连接: Body Tracking for Orbbec Femto Bolt, Mega, & Azure Kinect
在这里插入图片描述
2.采用UI资源 : Fantasy Warrior HUD - Synty INTERFACE - GUI
3.采用模型资源: Modular Stylized Character 1
4.采用场景资源: Virtual Interior 2

动作识别效果：

在这里插入图片描述

关键类

关节数据类JointData、身体数据类BodyData、事件数据类ActionData、玩家行为类PeopleBodyAction：

using ATF;
using System;
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.UIElements;
using static System.Collections.Specialized.BitVector32;

namespace AT
{
    /// <summary>
    /// 身体类型
    /// </summary>
    public enum EJointType
    {
        Hips = 0,
        LeftUpperLeg,
        RightUpperLeg,
        LeftLowerLeg,
        RightLowerLeg,
        LeftFoot,
        RightFoot,
        Spine,
        Chest,
        UpperChest,
        Neck,
        Head,
        LeftShoulder,
        RightShoulder,
        LeftUpperArm,
        RightUpperArm,
        LeftLowerArm,
        RightLowerArm,
        LeftHand,
        RightHand,
        LeftToes,
        RightToes,
        LeftEye,
        RightEye,
        Jaw
    }

    /// <summary>
    /// 事件类型
    /// </summary>
    public enum EActionType
    {
        EAction_1 = 0, EAction_2, EAction_3, EAction_4, EAction_5, EAction_6, EAction_7, EAction_8, EAction_9, EAction_10
    }

    /// <summary>
    /// 关节数据
    /// </summary>
    [ES3Serializable]
    public class JointData
    {
        public bool IsOpen;         //是否打开对比
        public float Ratio;         //四元数近似率
        public float Angle;         //角度对比值
        public EJointType Type;     //关节类型
        public Quaternion BodyQua;  //关节数据
        public JointData(EJointType bodyType)
        {
            IsOpen = true;
            Ratio = 1.0f;
            Angle = 0.0f;
            Type = bodyType;
            BodyQua = new Quaternion();
        }
    }

    /// <summary>
    /// 身体数据
    /// </summary>
    [ES3Serializable]
    public class BodyData
    {
        public JointData[] JointList;    //身体数组
        [ES3NonSerializable]
        public bool BodyTrigger;         //身体事件是否触发
        public float Duration;           //持续期间---默认为1s
        public float CountDown;          //倒计时---默认为0
        public int PassingRate;          //通过率---0-100
        [ES3Serializable]
        private string m_uniqueID;       //唯一ID
        public string UniqueID
        {
            get { return m_uniqueID; }
        }

        public BodyData(bool[] bodyArray = null)
        {
            JointList = new JointData[Constant.MAXBODYCOUNT];
            m_uniqueID = UniqueIDUtility.Ins.GetUniqueID();
            BodyTrigger = false;
            Duration = Constant.DURATION;
            CountDown = Constant.COUNTDOWN;
            PassingRate = Constant.MAXPASSINGRATE;
            for (int i = 0; i < Constant.MAXBODYCOUNT; i++)
            {
                JointList[i] = new JointData((EJointType)i);
                if (bodyArray == null)
                {
                    JointList[i].IsOpen = true;
                }
                else
                {
                    foreach (bool state in bodyArray)
                    {
                        JointList[i].IsOpen = state;
                    }
                }
            }
        }
    }

    /// <summary>
    /// 事件数据---每个事件数据里面有25个关节数据
    /// </summary>
    [ES3Serializable]
    public class ActionData
    {
        public string ActionName;                               //事件名称
        public int ActionCount;                                 //事件数量
        public Dictionary<EActionType, BodyData> BodyDataDic;   //身体数据字典
        [ES3NonSerializable]
        public bool ActionTrigger;                              //事件触发
        public ActionData(string name = "", int count = 1, bool[] bodyArray = null)
        {
            ActionName = name;
            ActionCount = count;
            BodyDataDic = new Dictionary<EActionType, BodyData>();
            ActionTrigger = false;
            for (int i = 0; i < ActionCount; i++)
            {
                EActionType eActionType = (EActionType)i;
                BodyData bodyData = new BodyData(bodyArray);
                BodyDataDic.Add(eActionType, bodyData);
            }
        }
    }

    /// <summary>
    /// 身体事件
    /// </summary>
    [ES3Serializable]
    public class PeopleBodyAction
    {
        public string PeopleName;
        [ES3Serializable]
        public Dictionary<string, ActionData> ActionDataDic;
        [ES3NonSerializable]
        public ObservableValue<string,EActionType,bool> OnTriggerChange;
        [ES3NonSerializable]
        public Action<string,EActionType, bool> OnTrigger;
        public PeopleBodyAction()
        {
            PeopleName = "Player1";
            ActionDataDic = new Dictionary<string, ActionData>();
            OnTriggerChange = new ObservableValue<string,EActionType,bool>("",EActionType.EAction_1,false);
        }

        #region 单独赋值
        public void SetBodyState(string actionName,EJointType body, bool isOpen, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action].JointList[(int)body].IsOpen = isOpen;
            }
        }
        public void SetBodyQuaRatio(string actionName, EJointType body, float ratio, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action].JointList[(int)body].Ratio = ratio;
            }
        }
        public void SetBodyAngle(string actionName, EJointType body, float angle, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action].JointList[(int)body].Angle = angle;
            }
        }
        public void SetBodyQua(string actionName, EJointType body, Quaternion qua, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action].JointList[(int)body].BodyQua = qua;
            }
        }
        public void SetBodyDuration(string actionName, EJointType body, float duration, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action].Duration = duration;
            }
        }
        public void SetJointData(string actionName, EJointType body, JointData jointData, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                int bodyIndex = (int)body;
                ActionDataDic[actionName].BodyDataDic[action].JointList[(int)body] = jointData;
            }
        }
        public void SetBodyData(string actionName, BodyData bodyData, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action] = bodyData;
            }
        }
        public void SetPassingRateData(string actionName, int passingRate, EActionType action = EActionType.EAction_1)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                return;
            }
            if (ActionDataDic[actionName] != null)
            {
                ActionDataDic[actionName].BodyDataDic[action].PassingRate = passingRate;
            }
        }
        public void SetActionData(string actionName, ActionData actionData)
        {
            if (!ActionDataDic.ContainsKey(actionName))
            {
                ActionDataDic.Add(actionName,actionData);
            }
            ActionDataDic[actionName] = actionData;
        }
        #endregion
    }
}

项目流程

1.记录特定的人体动作数据---身体关节的四元数
2.将人体动作数据 实时与 当前人体动作 进行比对---利用四元数点乘进行比较
3.判断动作是否被触发---如果关节四元数比较的值在之前录制的范围之内 就判断当前动作被触发

项目地址

百度网盘链接: [https://pan.baidu.com/s/1THpnMyr_CPFIBN40v9VG-A?pwd=6666)

使用步骤

1.接上奥比中光相机 Femto Bolt，点击运行~
2.点击录制，可以录制新动作
3.可以保存存档数据和加载存档数据
4.如果触发了 之前录制的动作，会在打印区打印出来

小结

虽然我的目的是测试这套动作识别能不能识别出一套完整的动作，例如打出一套龟派气功波，但是实际上这个设备没有手指识别，而且相机识别稳定性待提高，只能说勉强验证我的想法 ,如果后面有具体的项目需求了 我再详细研究研究~

使用Unity引擎开发手机摄像头AI识别人体健身动作模块
小宝哥Code的专栏
01-02 1894
通过Unity引擎与AI关键点检测模型（如MediaPipe或TensorFlow Lite）的结合，可以实现一个完整的摄像头AI健身动作识别模块。在完成基本的健身动作识别模块后，可以进一步扩展功能，提升用户体验，并加入更多复杂的逻辑和交互。除了基本的深蹲，可以扩展支持更多的健身动作，例如俯卧撑、跳跃、侧弓步等。一旦获取到人体关键点，可以通过分析关键点的相对位置和角度来判断用户的健身动作。将检测到的关键点绑定到3D模型的骨骼上，实时显示用户的动作。将脚本绑定到UI，并运行项目，实时查看动作评分。
Unity 手势识别插件
08-12 3665
PS：根据需要先看是否禁止多点触控 API :Input.multyTouchEnabled;Simple Gesture 插件 SimpleGesture类 调用方式public void Awake() { SimpleGesture.OnTap(MyMethod); } void MyMethod() { Debug.log("方法") }* 重点* SimpleGesture
奥比中光 OpenNI SDK Ver.2.3.0.43
11-24
取自奥比中光境外网站。版本为2.3.0.43. Last updated: 2018-03-26 于2018年11月24日下载
Azure Kinect and Femto Bolt Examples for Unity 1.19.2
05-22
Azure Kinect and Femto Bolt Examples for Unity 1.19.2
Orbbec Femto Bolt接入unity流程记录
最新发布
LM_1997的博客
02-21 1754
记录一下使用Femto Bolt 深度相机的过程和遇到的一些问题。
奥比中光 Femto Bolt相机ROS配置
m0_56661101的博客
12-12 3176
记录了奥比中光 Femto Bolt相机的配置过程。包括在以及普通的x86 PC上的ROS1和ROS2版本相机包的配置。在博文发布的时间点，以下步骤测试有效。
Orbbec Pose Unity SDK 示例程序无法运行问题
qq_39033826的博客
11-28 1035
奥比中光（ORBBEC）摄像头开发相关Unity程序，Orbbec Pose Unity SDK 示例程序无法运行问题。
Unity 上下挥动算法（kinect 作揖动作识别）
我知道你很急,但是路要一步步走
05-28 2403
using System.Collections; using System.Collections.Generic; using UnityEngine; public class Test : MonoBehaviour { public int count = 2; int currentIndex; float lastPosY; float curre...
Unity 手势识别，很好用，目前项目在使用
01-10
Unity 手势识别，很好用，目前项目在使用，整个程序中用一个就可以
Mediapipe+OpenCV与Unity引擎实现动作捕捉
热门推荐
BIgbossyii的博客
06-01 3万+
因为之前的写的人物动作捕捉是先通过Python和Mediapipe先将人物动作进行捕捉，将捕捉到的数据format后写入到txt中，在Unity端对txt进行数据读取，进而实现Unity人物运动；**其中的缺点是：没有时效性** **而本次的改进：通过利用socket和UPD通信，在localhost中数据传输，让动捕数据实时传输，到达实时动捕的效果...
Unity实现简单手势识别
08-18
主要为大家详细介绍了Unity实现简单手势识别，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
奥比中光深度摄像头 C#实例+源代码
03-05
运行实例：NiWrapper.Net\Samples\bin\x86_Debug\NiViewer.Net.exe 可以调用深度镜头，color镜头，红外镜头，得到视频流 包含C#源程序 实现：C#是调用C++编译后的dll
奥比中光Orbbec Astra SDK OpenNI SDK开发环境搭建
PCL_CLOUD的博客
12-06 5193
一、OpenNI SDK （1）将下载的OpenNI SDK解压到电脑某一路径下：我的是D:\Program Files\Astra openNI\OpenNI2\OpenNI-Windows-x64-2.3.0.63 （2）在VS2015中新建一控制台程序，并打开属性选项：在c/c++ 常规 附加包含目录中添加OpenNI的include路径； （3）在链接器 常规 附加库目录中添加OpenN...
unityar自动识别人脸_AR开发实战项目之人脸识别（实现换脸、人脸涂妆、动作特效）...
weixin_39736934的博客
12-19 3533
一、框架视图Main.png二、关键代码WebCamTextureARSampleusing UnityEngine;using System.Collections;using System.Collections.Generic;using UnityEngine.UI;#if UNITY_5_3 || UNITY_5_3_OR_NEWERusing UnityEngine.SceneMana...
UNITY_MATRIX_IT_MV[Matrix]
xak的专栏
08-19 1万+
本文对UNITY_MATRIX_IT_MV做了比较详细的说明，可以更好的帮助你理解Shader中法线的变换.
unity游戏开发毕设_Unity3D 推荐的7个项目和案例练习
weixin_39710396的博客
12-20 4394
原标题：Unity3D 推荐的7个项目和案例练习一、前言选择练习项目或案例，一定要根据自己学习的阶段和需要发展的方向做判断。过高要求自己可能会浪费学习的时间，而且Unity3D是游戏开发工具，学习匹配的内容以应对面临的参赛、毕设、工作才是关键。学习的阶段：初级则是能快速完成、少量插件运用的案例。中级则涉及游戏框架，综合运用。高级则涉及网络开发，服务器端。发展的方向：2D或3D...角色、动作、策略...
unity 体感摄像头Azure
u013748096的专栏
03-10 808
如题，最近有一个项目要用到体感摄像头，基本上项目中常用到的体感摄像头也就是：微软 、奥比中光。现在kinect已经停止生产了，奥比中光的体感摄像头用到的时候有坑，有一段时间不能识别骨骼，核心技术不是自己开发的，受制于别人。 微软最近新出了一款体感摄像头Azure,于是买来研究了一下。 1、首先安装驱动。 2、驱动安装之后，可以直接测试看到图像信息和骨骼数据。 3、导入Azure Kinect for Unity 插件。 4、里面东西和之前kinect开发所用的Demo都是含有的，只不过有了更新
奥比中光深度相机unity插件
01-15
### 奥比中光深度相机在Unity中的插件使用指南 #### 插件概述 奥比中光提供了专门用于Unity开发环境下的SDK工具包，允许开发者轻松集成并利用其深度相机的功能。该插件支持多种功能特性，包括但不限于实时获取RGB-D图像数据流、人体骨骼追踪以及手势识别等功能[^1]。 #### 下载方式 对于希望使用奥比中光深度相机的Unity开发者来说，可以从官方网站下载适用于不同版本Unity引擎对应的最新版Orbbec Unity Plugin SDK软件包。确保所选平台与本地计算机操作系统相匹配[^2]。 #### 安装过程 安装此插件前需先确认已正确连接好硬件设备，并按照官方文档完成驱动程序设置。接着，在Unity项目内通过`Assets/Import Package/Custom Package...`路径导入先前下载好的`.unitypackage`文件来引入必要的脚本库和其他资源到当前工程环境中[^3]。 ```csharp using UnityEngine; using Orbbec; public class DepthCameraExample : MonoBehaviour { private Astra astraDevice; void Start() { // 初始化Astra对象实例化 astraDevice = new Astra(); // 开启颜色帧和深度帧采集服务 astraDevice.StartColorStream(); astraDevice.StartDepthStream(); } void Update() { } } ``` #### 配置说明 成功加载之后还需要进一步调整一些参数选项以适应具体应用场景需求。这通常涉及到修改Inspector面板上的属性字段或是编写自定义C#代码逻辑实现特定交互效果。例如可以设定分辨率大小、刷新率等基本性能指标；也可以启用高级模式下的人脸检测、手部姿态估计等附加模块[^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值