通过Kinect制作体感控制机器人

最新推荐文章于 2022-09-14 16:17:56 发布
置顶 最新推荐文章于 2022-09-14 16:17:56 发布
阅读量3.2k 收藏 24
点赞数 7
分类专栏： kinect 文章标签： kinect sdk c语言 体感 机器人
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29606255/article/details/77601636
版权

通过kinent识别人体动作，并与arduino单片机进行通信，从而控制机器人做出各种各样的动作。

  1. 这里需要引入kinect的SDK
  2. 上位机采用C++语言开发，通过TCP与arduino单片机通信，从而控制机器人 
#include <Kinect.h>
#pragma comment ( lib, "kinect20.lib" )
#include <iostream>
Joint joints[JointType_Count];
using namespace std;
class walk
{

public:
    int state;
    walk()
    {
        state = 0;
    }
    void update()
    {
        if ((abs(joints[JointType_KneeLeft].Position.Z - joints[JointType_HipLeft].Position.Z) > 0.15 ||
            abs(joints[JointType_KneeRight].Position.Z - joints[JointType_HipRight].Position.Z) > 0.15)

            )
        {
            cout << "走路" << endl;
            state = 1;
        }
        else
        {
            state = 0;
        }
    }
};
class turnleft
{
public:
    turnleft()
    {

    }
    void update(int x)
    {
        if (x == 1&&joints[JointType_HandLeft].Position.Y>joints[JointType_Head].Position.Y
            &&joints[JointType_HandRight].Position.Y<joints[JointType_Head].Position.Y)
        {
            cout << "转左" << endl;
        }
    }

};
class turnright
{
public:
    turnright()
    {

    }
    void update(int x)
    {
        if (x == 1 && joints[JointType_HandRight].Position.Y>joints[JointType_Head].Position.Y
            &&joints[JointType_HandLeft].Position.Y<joints[JointType_Head].Position.Y)
        {
            cout << "转右" << endl;
        }
    }

};
class yougouquan
{
public:
    yougouquan()
    {
    }
    void update(int a,int k)
    {
        if (
            //joints[JointType_HandRight].Position.Y>joints[JointType_ElbowRight].Position.Y
            joints[JointType_HandRight].Position.Y>joints[JointType_SpineMid].Position.Y
            &&joints[JointType_HandRight].Position.X<joints[JointType_ShoulderLeft].Position.X
            &&a == 1&&k!=1
            //&&joints[JointType_HandLeft].Position.Y>joints[JointType_ElbowLeft].Position.Y
            //&&joints[JointType_HandLeft].Position.Y>joints[JointType_SpineMid].Position.Y
            )
        {
            cout << "右勾拳" << endl;
            Sleep(1000);
        }
    }
};
class yougouquan2
{
public:
    yougouquan2()
    {
    }
    void update(int a,int k)
    {
        if (
            //joints[JointType_HandRight].Position.Y>joints[JointType_ElbowRight].Position.Y
        //  joints[JointType_HandRight].Position.Y>joints[JointType_SpineMid].Position.Y
            joints[JointType_HandLeft].Position.X > joints[JointType_ShoulderRight].Position.X
            &&a == 1 && k != 1
            //&&joints[JointType_HandLeft].Position.Y > joints[JointType_ElbowLeft].Position.Y
            &&joints[JointType_HandLeft].Position.Y>joints[JointType_SpineMid].Position.Y)
        {
            cout << "左勾拳" << endl;
            Sleep(1000);
        }

    }

};
class shanggouquan2
{
    int state;
    int timestamp;
    int lasttimes;
public:
    shanggouquan2()
    {
        state = 0;
    }
    void update(int a,int z,int k)
    {
        if (joints[JointType_HandRight].Position.Y<joints[JointType_Head].Position.Y
            &&joints[JointType_HandLeft].Position.Y>joints[JointType_Head].Position.Y
            &&joints[JointType_ShoulderLeft].Position.Z>joints[JointType_ElbowLeft].Position.Z+0.1
            &&z!=1&&k!=1 && a == 1
            )
        {
            cout << "上钩拳" << endl;
            Sleep(1000);
        }
    }
};
class shanggouquan
{
    int state;
    int timestamp;
    int lasttime;
public:
    shanggouquan()
    {
        state = 0;
        timestamp = 0;
        lasttime = 1;
    }
    void update(int a,int z,int k)
    {
        if (joints[JointType_HandRight].Position.Y > joints[JointType_Head].Position.Y
            && joints[JointType_HandLeft].Position.Y < joints[JointType_Head].Position.Y
            && joints[JointType_ShoulderRight].Position.Z>joints[JointType_ElbowRight].Position.Z + 0.1
            &&k!=1 && z != 1 && a == 1
            )
        {
            cout << "上钩拳" << endl;
            Sleep(1000);
        }
    }
};
class juezhao
{
public:
    int timestamps;
    int lasttimes;
    int state;
public:
    juezhao()
    {
        timestamps = 0;
        state = 0;
        lasttimes = 50;
    }
    void update(int a,int k)
    {
        if (a!=1)
        {
            state = 0;
            timestamps = 0;
        }
        if (
            joints[JointType_ElbowLeft].Position.Y>joints[JointType_HipLeft].Position.Y
            &&joints[JointType_ElbowRight].Position.Y>joints[JointType_HipRight].Position.Y
            &&abs(joints[JointType_HandRight].Position.Y - joints[JointType_HandLeft].Position.Y)<0.1
            &&abs(joints[JointType_HandRight].Position.X - joints[JointType_HandLeft].Position.X)<0.1
            &&a==1&&k!=1
            )
        {
            cout << "一" << endl;
            state = 1;
        }
        if (state == 1)
        {
            timestamps++;
            if (timestamps<lasttimes)
            {
                if ((joints[JointType_HandRight].Position.Y>joints[JointType_Head].Position.Y
                    ||joints[JointType_HandLeft].Position.Y>joints[JointType_Head].Position.Y)
                    &&a==1&&k!=1)
                {
                    cout << "绝招" << endl;
                    state = 0;
                    timestamps = 0;
                    Sleep(1000);
                }
            }
            else
            {
                state = 0;
                timestamps = 0;
            }
        }
    }

};
/*class archery
{
private:
    int lasttime;
    int timestamp;
    int state;
public:
    archery()
    {
        lasttime = 50;
        state = 0;
        timestamp = 0;
    }
    void update(Joint a[])
    {
        if(a[7].Position.X*100>=a[11].Position.X*100-5&&a[7].Position.X*100<=a[11].Position.X*100+5
            && a[7].Position.Y * 100 >= a[11].Position.Y*100 - 5 && a[7].Position.Y * 100 <= a[11].Position.Y*100 + 5
            && a[7].Position.Z * 100 >= a[11].Position.Z * 100 - 5 && a[7].Position.Z * 100 <= a[11].Position.Z * 100 + 5
            )
        {
            state = 1;
            cout << "拍手" << endl;
        }
        if (state==1)
        {
            timestamp++;
            if (timestamp < lasttime)
            {
                if (joints[11].Position.Y*100>joints[0].Position.Y*100
                    && joints[11].Position.Y * 100 <= joints[9].Position.Y * 100 + 20
                    && joints[11].Position.Y * 100 >= joints[9].Position.Y * 100 - 20
                    && joints[9].Position.Y * 100 <= joints[8].Position.Y * 100 + 20
                    && joints[9].Position.Y * 100 >= joints[8].Position.Y * 100 - 20
                    &&joints[5].Position.Y * 100>joints[0].Position.Y * 100
                    &&joints[7].Position.Y>joints[5].Position.Y
                    && joints[4].Position.Y * 100 <= joints[5].Position.Y * 100 + 20
                    && joints[4].Position.Y * 100 >= joints[5].Position.Y * 100 - 20
                    && joints[5].Position.Y * 100 <= joints[7].Position.Y * 100 + 20
                    && joints[5].Position.Y * 100 >= joints[7].Position.Y * 100 - 20
                    &&joints[11].Position.Z<joints[9].Position.Z&&joints[9].Position.Z<joints[8].Position.Z
                    &&joints[8].Position.Z<joints[4].Position.Z
)   
                {
                    cout << "射箭" << endl;
                    Sleep(1000); 
                    state = 0;
                }
            }
            else
            {
                state = 0;
                timestamp = 0;
            }
        }
    }
};*/
/*class pneumatic
{
    int state;
    int timestamps;
    int lasttimes;
    pneumatic()
    {
        state = 0;
        timestamps = 0;
        lasttimes = 50;
    }
    void update()
    {
        if (joints[JointType_HandRight].Position.Y < joints[JointType_SpineMid].Position.Y
            &&joints[JointType_HandLeft].Position.Y < joints[JointType_SpineBase].Position.Y
            &&abs(joints[JointType_HandLeft].Position.X - joints[JointType_HandRight].Position.X) < 0.08
            &&abs(joints[JointType_HandRight].Position.Y - joints[JointType_HandLeft].Position.Y) < 0.08
            )
        {
            state = 1;
            if (state == 1)
            {
                timestamps++;
                if (timestamps > lasttimes)
                {
                    state = 2;
                }
            }
        }
        if (state == 2)
        {
            if (joints[JointType_HandLeft].Position.Y>joints[JointType_SpineMid].Position.Y
                &&joints[JointType_HandRight].Position.Y>joints[JointType_SpineMid].Position.Y
                &&abs(joints[JointType_HandLeft].Position.X - joints[JointType_HandRight].Position.X) < 0.08
                &&abs(joints[JointType_HandRight].Position.Y - joints[JointType_HandLeft].Position.Y) < 0.08
                )
            {
                state = 3;
                Sleep(200);
                cout << "龟派气功" << endl;
                state = 0;
                timestamps = 0;
                Sleep(2000);
            }
        }
        state = 0;
    }

};*/
int main()
{
    int temp;
    int hand=0;
    yougouquan y;
    shanggouquan s;
    juezhao z;
    yougouquan2 y2;
    shanggouquan2 s2;
    turnleft l;
    turnright r;
    //archery a;
    IKinectSensor* sensor;  
    walk w;
    HRESULT hr = GetDefaultKinectSensor(&sensor);  
    if (FAILED(hr))
    {
        cout << "获取Kinect失败" << endl;
        return 0;
    }
    BOOLEAN bIsOpen = 0;
    sensor->get_IsOpen(&bIsOpen); 
    if (!bIsOpen) 
    {
        hr = sensor->Open();
        if (FAILED(hr))
        {
            cout << "开启Kinect失败" << endl;
            return -1;
        }
        cout << "正在开启Kinect，请等待" << endl;
        Sleep(3000);
    }
    bIsOpen = 0;
    sensor->get_IsOpen(&bIsOpen); 
    if (bIsOpen == true)
    {
        cout << "开启成功" << endl;
    }
    BOOLEAN bAvaliable = 0;
    sensor->get_IsAvailable(&bAvaliable); 
    DWORD dwCapability = 0;
    sensor->get_KinectCapabilities(&dwCapability);
    cout << "容量为：" << endl;
    TCHAR bbuid[256] = { 0 };
    sensor->get_UniqueKinectId(256, bbuid); 
    cout << "玩家ID为" << bbuid << endl;
    IBodyFrameSource* BodyFrameSource = nullptr;
    sensor->get_BodyFrameSource(&BodyFrameSource); 
    INT32 nBodyNum = 0;
    BodyFrameSource->get_BodyCount(&nBodyNum);
    cout << "BODY个数" << nBodyNum << endl;
    IBodyFrameReader* BodyFrameReader = nullptr;
    BodyFrameSource->OpenReader(&BodyFrameReader); 

    while (true)
    {
        IBodyFrame* BodyFrame = nullptr;
        BodyFrameReader->AcquireLatestFrame(&BodyFrame); 
        if (!BodyFrame)
        {
            Sleep(100);
            continue;
        }
        IBody* iBody[BODY_COUNT] = { 0 };
        BodyFrame->GetAndRefreshBodyData(BODY_COUNT, iBody); // 更新所有人身体数据  
        for (int i = 0; i < BODY_COUNT; ++i)
        {
            IBody* pBody = iBody[i]; // 轮询每个人的信息  
            if (pBody)
            {
                BOOLEAN bTracked = false;
                hr = pBody->get_IsTracked(&bTracked); // 检测是否被跟踪，即是否有这个人  
                if (bTracked)
                {
                    HandState leftHandState = HandState_Unknown;
                    HandState rightHandState = HandState_Unknown;
                    pBody->get_HandLeftState(&leftHandState); // 获取左手的状态  
                    pBody->get_HandRightState(&rightHandState); // 获取右手的状态  
                    if (leftHandState == HandState_Open||rightHandState == HandState_Open)
                    {
                        hand = 0;
                    }
                    else
                    {
                        hand = 1;
                    }
                    hr = pBody->GetJoints(_countof(joints), joints); // 获取身体的骨骼信息，25点
                    z.update(hand,w.state);
                    s.update(hand,z.state,w.state);
                    y.update(hand,w.state);
                    s2.update(hand,z.state,w.state);
                    y2.update(hand,w.state);
                    w.update();
                    l.update(w.state);
                    r.update(w.state);
                    if (w.state!=1&&abs(joints[11].Position.X - joints[JointType_ElbowRight].Position.X) <= 0.1&&abs(joints[JointType_ShoulderRight].Position.X - joints[JointType_ElbowRight].Position.X) <= 0.1&&abs(joints[JointType_ShoulderRight].Position.Y - joints[JointType_ElbowRight].Position.Y) <= 0.1&&abs(joints[JointType_HandRight].Position.Y - joints[JointType_ElbowRight].Position.Y) <= 0.1)
                    {
                        cout << "右直拳" << endl;
                        Sleep(1000);
                    }
                    if (w.state!=1&&abs(joints[JointType_HandLeft].Position.X - joints[JointType_ElbowLeft].Position.X) <= 0.1&&abs(joints[JointType_ElbowLeft].Position.X - joints[JointType_ShoulderLeft].Position.X) <= 0.1&&abs(joints[JointType_ShoulderLeft].Position.Y - joints[JointType_ElbowLeft].Position.Y) <= 0.1&&abs(joints[JointType_ElbowLeft].Position.Y - joints[JointType_HandLeft].Position.Y) <= 0.1)
                    {
                        cout << "左直拳" << endl;
                        Sleep(1000);
                    }
                //  cout << "左手X" << joints[JointType_HandLeft].Position.X << endl;
                //  cout << "右肩X" << joints[JointType_HandRight].Position.X << endl;
                    //Sleep(2000);
                    /*cout << hand << endl;
                    cout << "脊椎Y" << joints[JointType_SpineMid].Position.Y << endl;
                    cout << "左手Y" << joints[JointType_HandLeft].Position.Y << endl;
                    cout << "右手Y" << joints[JointType_HandRight].Position.Y << endl;
                    cout << "头Y" << joints[JointType_Head].Position.Y << endl;
                    /*cout << hand << endl;
                    cout << "左手X" << joints[JointType_HandLeft].Position.X << endl;
                    cout << "左肘X" << joints[JointType_ElbowLeft].Position.X << endl;
                    cout << "左手Y" << joints[JointType_HandRight].Position.Y << endl;
                    cout << "左肘Y" << joints[JointType_ElbowLeft].Position.Y << endl;
                    cout << "右手X" << joints[JointType_HandRight].Position.X << endl;
                    cout << "右肘X" << joints[JointType_ElbowRight].Position.X << endl;
                    cout << "右手Y" << joints[JointType_HandRight].Position.Y << endl;
                    cout << "右肘Y" << joints[JointType_ElbowRight].Position.Y << endl;*/
                    //cout << "右肩X" << joints[JointType_ShoulderRight].Position.X << endl;
                    //cout << "左手Y" << joints[JointType_HandLeft].Position.Y << endl;
                    //cout << "头Y" << joints[JointType_Head].Position.Y << endl;
                    //Sleep(8000);
                    /*if (rightHandState == HandState_Closed || leftHandState == HandState_Closed)
                    {
                    cout << "拳头" << endl;
                    Sleep(1000);
                    }*/

                }
            }
        }
        for (int i = 0; i < BODY_COUNT; ++i)
        {
            iBody[i]->Release();
        }
        BodyFrame->Release();
    }
    sensor->Close();
}

项目源代码：
https://github.com/ahongl/ClassicalCode/blob/master/KinectDemo.cpp

奕起学习
关注
专栏目录
Kinect体感机器人上位机源码
04-26
标题中的“Kinect体感机器人上位机源码”指的是使用微软的Kinect传感器与机器人进行交互的控制软件源代码。Kinect是一款基于深度感应技术的设备，它能捕捉到人体的动作并将其转化为数字信号，使得计算机或机器人可以...
kinent 插件 ue4中使用
11-01
kinent 插件 ue4中使用,还有一款kinent 插件 ue4中使用,还有一款
基于Kinect体感遥控多功能小车
rong563的博客
09-01 4343
利用 Kinect 传感器提取操作者身体的骨骼节 点数据，设计并识别操作者体势动作，进而生产对应的智能小车控制指令。同时 采用超声波测距技术，实现小车避障功能。智能小车采用以 Arduino 技术为支撑 的控制系统。
Kinect体感机器人（二）—— 体感识别
King-Blog
12-27 3610
Kinect体感机器人（二）—— 体感识别 By 马冬亮(凝霜  Loki) 一个人的战争(http://blog.csdn.net/MDL13412) 背景知识         体感技术属于NUI（自然人机界面）的范畴，可以让用户通过肢体语言与周边设备或环境互动，其实现手段主要包括：惯性感测、光学感测以及惯性及光学联合感测。市场上比较成熟的产品主要有：微软的Kinec
制作Kinect体感控制小车教程 <一>
aoe41606的博客
01-14 217
转载请注明出处：http://blog.csdn.net/lxk7280 Kinect体感控制小车 Kinect部分： 购买KInect，这第一步就不多说了。由于Kinect二代出了之后，Kinect一代价格立马降了不少，这对于刚開始学习的...
Kinect体感机器人（一）—— 整体设计
一个人的战争
09-27 8385
Kinect体感机器人（一）—— 整体设计 By 马冬亮(凝霜  Loki) 一个人的战争(http://blog.csdn.net/MDL13412)         本文素材源于年初参加“2012英特尔杯大学生电子设计竞赛嵌入式系统专题邀请赛”时制作的体感机器人，之前由于技术保密和时间上的原因，一直没能完成本文，现在为大家奉上体感机器人的关键技术与算法解析。 开发环境
【论文翻译】用于移动机器人导航的Kinect v2:评估和建模
hehedadaq的博客
06-04 2475
吐槽：哇，为了图像检测的期末报告，我花了两天时间，真是一句一句的翻译过来了。话说中文网站资料是真的靠不住。。。为了Kinect2的使用，我在中文网站上摸索了一个多月，自己摸鱼走了快两个月的弯路，原来很多东西，早就有大佬做过了。。。英语真他么重要~正文——用于移动机器人导航的Kinect v2：评估和建模Kinectv2 for Mobile Robot Navigation:Evaluationa...
基于Kinect的体感交互机器人.pdf
08-14
体感交互技术，即通过用户的动作、姿态、语音等非接触方式来控制和操作机器人，正在逐渐改变我们与机器人的互动体验。 Kinect传感器是由微软公司开发的一种体感输入设备，最初用于其Xbox游戏机。随着Kinect的普及，...
基于Kinect体感控制的机器人全动作跟随系统设计.pdf
08-14
首先，Kinect体感控制的机器人全动作跟随系统设计的核心是通过Kinect体感器获取人体的各个关节点位置坐标，然后利用这些坐标进行人体外形轮廓建模及肢体空间坐标定位，从而实现人体的全动作采集建模。这是通过Kinect...
体感遥控机器人设计.pdf
08-14
伴随着机器人技术在各行各业的应用，自然的人机交互方式开始与机器人技术结合，通过体感技术与机器人对话成为可能。 本文设计了一套以Kinect传感器为核心部件的体感遥控机器人系统。系统通过Kinect传感器采集操作者...
基于Kinect的消防机器人体感控制系统设计研究.pdf
08-11
- 体感控制系统的软件与硬件设计：研究中提到了控制系统的设计思想，包括使用Kinect传感器进行图像和深度数据采集，并通过算法处理这些数据来控制消防机器人的行为。PC端控制软件的设计包括Kinect SDK接口实现、网络...
基于kinect机器人控制系统
06-13
开发了完整的一套体感控制系统，通过kinect采集机器人的图像信息
Kinect体感机器人-下位机源码
04-26
Kinect体感机器人系列文章资源，详见博文：https://blog.csdn.net/MDL13412/article/details/8023811
由Kinect远程控制的智能小车 上位机程序
09-16
通过Kinect姿势识别对小车进行远程控制 无线通信方式为Wi-Fi,上位机采用socket编程 小车可以由Arduion或类似的MCU控制，需要Wi-Fi模块建立热点
kinect2.0上位机
08-07
kinect2.0上位机，同时读取彩色、红外以及深度图像
kinect V2 在ROS下使用
hoppss
03-21 1128
安装： 这里写链接内容 roslaunch kinect2_bridge kinect2_bridge.launch roslaunch kinect2_bridge kinect2_bridge.launch publish_tf:=true rosrun kinect2_viewer kinect2_viewer sd cloud
基于Kinect体感器控制的机械臂项目记录
kyleeeeeeeeee的博客
09-14 1165
简单记录本科做的一个小项目，基于Kinect体感器控制的智能机械臂，通过对人手臂关节的追踪，实现简单随动。
Unity Arduino Kinect 舵机跟随
我知道你很急,但是路要一步步走
06-13 1082
功能:舵机上挂一物体,kinect识别人走动,计算向量夹角,实现效果为物体始终朝向人物 unity发送角度给Arduino using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.UI; public class MyKinectContro...
项目发起--kinect体感机器人
richermen的专栏
11-18 1703
最近看到了kinect2.0开始发售了，
Kinect体感控制：创新机器人交互技术
"基于Kinect的机器人控制系统设计与实现，通过人体动作控制，结合Kinect体感传感器，无线传输单元，实现人机交互的新模式。系统由主机（图像采集与处理）和从机（动作执行）组成，其中主机采用PC、Kinect、无线传输...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值