Kinect sdk 1.7 Interaction API 学习和程序框架

最新推荐文章于 2024-08-19 17:10:22 发布
最新推荐文章于 2024-08-19 17:10:22 发布
阅读量4.1k 收藏 2
点赞数
分类专栏： Kinect 文章标签： kinect sdk 1.7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/creategen/article/details/8698821
版权

KinectInteraction provides the following high-level features:

· Identification of up to 2 users and identification and tracking of their primary interaction hand.

· Detection services for user's hand location and state.

· Grip and grip release detection.

· Press detection.

· Information on the control targeted by the user.

一、本API提供的主要类型有：

The major types provided by the managed API are:

· HandPointer

· IInteractionClient

· InteractionFrame

· InteractionInfo

· InteractionStream

· KinectRuntimeExtensions

· UserInfo

1.HandPointer提供的功能：

（1）primary hand  ，判断手是否为初始用户的手（操作软件的手）

（2）hand coordinates relative to the Physical Interaction Zone ，手在物理坐标下的位置坐标

（3）arm extension ，手臂是否伸展中（判断用户是否做Pressing motion 按下的  动作）

（4） the hand type ，手的类型（左手还是右手）

（5）the hand pointer state （is pressed, is gripping ，is Release，is Scroll）

2.InteractionFrame

An interaction frame, much like the frames provided by the other Kinect data streams (depth stream, skeleton stream, etc.), provides data about the current state of the interaction. An interaction frame contains pointers to the hand pointer and user info. 

3.InteractionInfo

InteractionInfo contains information about the targeted control, including whether the control is currently a grip or a press target.

4.InteractionStream（该类管理Interaction stream）

InteractionStream is the class that manages use of the interaction stream. The interaction stream supplies interaction frames as they are generated by KinectInteraction. 

The Interaction Stream provides a stream of interaction frames, similar to the stream model of the other data sources (audio stream, depth stream, skeleton stream, etc.). Interaction frames are processed to provide information on the user's interaction with the application, such as hand position, whether the hand is pressing, gripping, or releasing, and the control the user is targeting.

5.KinectRuntimeExtensions

该类包括创建和初始化一个interaction stream.还包括一个访问 raw hand pointer data 的方法  (the hand pointer data provided by the HandPointer class is cleaned up to make the hand's association with the underlying controls clearer). 

6.UserInfo

该类提供的功能有：

（1）判断用户是否为初始用户 (recall that KinectInteraction can track up to two users, designating one as primary)  

（2） pointers to the HandPointer object corresponding（对应到） to that user. 

二、使用

1． IInteractionClient 4

2． InteractionFrame 4

1) CopyInteractionDataTo(UserInfo[]) 4

2) Dispose() 4

3) Timestamp 4

4) UserInfoArrayLength 4

3． InteractionHandFrameReadyEventArgs 4

4． InteractionHandPointer 5

1)  HandEvetType 5

2)  HandType 5

3)  IsInteractive 5

4)  IsPressed 5

5) IsPrimaryForUser 5

6) IsTracked 5

7) PressExtent 6

8) RawX 6

9) RawY 6

10) RawZ 6

11) X 6

12) Y 6

5． InteractionHandType 6

1)  Left 6

2)  Right 6

3 ) None 6

6． InteracionInfo类 7

1)  InteractionInfo() 7

2)  IsGripTarget 7

3)  IsPressTarget 7

4)  PrssAttractionPointX 7

5)  PrssAttractionPointY 7

6)  PressTargetContolID 7

7． InteractionStream 8

1)  ProcessDepth() 10

2)  ProcessSkeleton() 10

3)  OpenNextFrame() 10

8． KinectRuntimeExtensions 11

1)KinectRuntimeExtensions.GetRawPixelData(this Microsoft.Kinect.DepthImageFrame) 11

9． UserInfol类 11

1) SkeletonTrackingId 11

2) HandPointers 11

10． 枚举 11

1）InteractionHandType 11

2）InteractionHandType 12

1．IInteractionClient

internal class KinectAdapter : IInteractionClient

{

        public InteractionInfo GetInteractionInfoAtLocation(int skeletonTrackingId,   

                InteractionHandType handType, double x, double y)

        {

        }

 }

2．InteractionFrame

1) CopyInteractionDataTo(UserInfo[])

UserInfo[] userInfos = new UserInfo[InteractionFrame.UserInfoArrayLength];

 private void InteractionFrameReady(object sender, InteractionFrameReadyEventArgs e)

{

      InteractionFrame interactionFrame = e.OpenInteractionFrame();

      interactionFrame.CopyInteractionDataTo(this.userInfos);

} 

2) Dispose()

3) Timestamp

Long timestamp = interactionFrame.Timestamp;

4) UserInfoArrayLength

UserInfo[] userInfos = new UserInfo[InteractionFrame.UserInfoArrayLength];

3．InteractionHandFrameReadyEventArgs

UserInfo[] userInfos = new UserInfo[InteractionFrame.UserInfoArrayLength];

 private void InteractionFrameReady(object sender, InteractionFrameReadyEventArgs e)

{

      InteractionFrame interactionFrame = e.OpenInteractionFrame();

      interactionFrame.CopyInteractionDataTo(this.userInfos);

} 

4．InteractionHandPointer

1)  HandEvetType

 HandEventType HandEventType;

InteractionHandPointer handPointer;

HandEventType =ConvertHandEventType(handPointer.HandEventType);

2)  HandType

InteractionHandPointer handPointer;

HandType HandType=ConvertHandType(handPointer. HandType);

3)  IsInteractive

InteractionHandPointer handPointer;

bool IsActive = handPointer.IsInteractive;

4)  IsPressed

InteractionHandPointer handPointer;

bool IsAPressed = handPointer.IsPressed;

5) IsPrimaryForUser

InteractionHandPointer handPointer;

bool IsPrimaryHandOfUser= handPointer.IsPrimaryForUser;

6) IsTracked

InteractionHandPointer handPointer;

bool IsTracked= handPointer.IsTracked;

7) PressExtent

Double Z = handPointer.PressExtent;

8) RawX

9) RawY

10)  RawZ

11)  X

Double x=handPointer.X;

12)  Y

Double y=handPointer.Y;

5．InteractionHandType

1)  Left

2)  Right

3 ) None

 HandType ConvertHandType(InteractionHandType interactionHandType)

 {

       switch (interactionHandType)

       {

                case InteractionHandType.Left:

                    return HandType.Left;

                case InteractionHandType.Right:

                    return HandType.Right;

                default:

                    return HandType.None;

         }

 }

6．InteracionInfo类

1)  InteractionInfo()

InteractionInfo interactionInfo = new InteractionInfo

{

     IsPressTarget = false,

     IsGripTarget = false,

}

2)  IsGripTarget

if (!interactionInfo.IsGripTarget)

3)  IsPressTarget

if (!interactionInfo.IsPressTarget)

4)  PrssAttractionPointX

interactionInfo.PressAttractionPointX =0.5;(赋给一个double类型的数值,0.0到1.0)

5)  PrssAttractionPointY

interactionInfo.PressAttractionPointY =0.5;(赋给一个double类型的数值,0.0到1.0)

6)  PressTargetContolID

 if (interactionInfo.PressTargetControlId == 0)

{

      interactionInfo.PressTargetControlId = searchElement.GetHashCode();

 }

7．InteractionStream

UserInfo[] userInfos;

userInfos = new UserInfo[InteractionFrame.UserInfoArrayLength];

Dictionary<Tuple<int, HandType>, HandPointer> handPointers =

            new Dictionary<Tuple<int, HandType>, HandPointer>();

InteractionStream interactionStream;

interactionStream = new InteractionStream(KinectSensor,kinectAdapter);

interactionStream.InteractionFrameReady += InteractionFrameReady;

(interactionStream.InteractionFrameReady -= InteractionFrameReady;)

(interactionStream.Dispose();interactionStream = null;)

 private void InteractionFrameReady(object sender, InteractionFrameReadyEventArgs e)

 { 

       UserInfo[] localUserInfos = null;

       long timestamp = 0;

       using (InteractionFrame interactionFrame = e.OpenInteractionFrame())

       {

             if (interactionFrame != null)

            {

                 interactionFrame.CopyInteractionDataTo(this.userInfos);

                 timestamp = interactionFrame.Timestamp;

                 localUserInfos = this.userInfos;

                 

             }

        }

       if (localUserInfos != null)

       {

             for (int userIndex = 0; userIndex < localUserInfos.Length; userIndex++)

             {

                        UserInfo user = localUserInfos[userIndex];

                        foreach (InteractionHandPointer handPointer in user.HandPointers)

                        {

                            this.HandleHandPointerData(timestamp, user, userIndex,  

                                                       handPointer);

                            if (localUserInfos != this.userInfos)

                            {

                                // Double-check that user info data being processed is 

                                   still valid.

                                // Client might have invalidated it by changing the  

                                   KinectSensor

                                // while handling a KinectRegion event.

                                   break;

                            }

                        }

                }

        }

 }  

 public class HandPointer : INotifyPropertyChanged

{

    bool Updated { get; set; }

 }

BeginInteractionFrame()

{

     foreach (HandPointer handPointer in this.handPointers.Values)

     {

          handPointer.Updated = false;

     }

}

 private void HandleHandPointerData(long timeStamp, UserInfo userInfo, int userIndex, InteractionHandPointer handPointer)

        {

            var interactionData = new InteractionFrameData

            {

                TimeStampOfLastUpdate = timeStamp,

                TrackingId = userInfo.SkeletonTrackingId,

                PlayerIndex = userIndex,

                HandType = EnumHelper.ConvertHandType(handPointer.HandType),

                IsTracked = handPointer.IsTracked,

                IsActive = handPointer.IsActive,

                IsInteractive = handPointer.IsInteractive,

                IsPressed = handPointer.IsPressed,

                IsPrimaryHandOfUser = handPointer.IsPrimaryForUser,

                IsPrimaryUser = (userInfo.SkeletonTrackingId == this.PrimaryUserTrackingId) && (userInfo.SkeletonTrackingId != KinectPrimaryUserTracker.InvalidUserTrackingId),

                HandEventType = EnumHelper.ConvertHandEventType(handPointer.HandEventType),

                X = handPointer.X,

                Y = handPointer.Y,

                Z = handPointer.PressExtent

            };

            this.kinectAdapter.HandleHandPointerData(interactionData);

        }

1)  ProcessDepth()

 private void SensorDepthFrameReady(object sender, DepthImageFrameReadyEventArgs depthImageFrameReadyEventArgs)

{

     if (KinectSensor != sender)

     {

         return;

      }

    DepthImageFrame depthFrame = depthImageFrameReadyEventArgs.OpenDepthImageFrame();

    // Hand data to Interaction framework to be processed

    interactionStream.ProcessDepth(depthFrame.GetRawPixelData(),depthFrame.Timestamp);

}

2)  ProcessSkeleton()

 private void SensorSkeletonFrameReady(object sender, SkeletonFrameReadyEventArgs skeletonFrameReadyEventArgs)

{

    Skeleton[] skeletons;

SkeletonFrame skeletonFrame = skeletonFrameReadyEventArgs.OpenSkeletonFrame();

var accelerometerReading = KinectSensor.AccelerometerGetCurrentReading();

 // Hand data to Interaction framework to be processed

 interactionStream.ProcessSkeleton(skeletons,accelerometerReading,skeletonFrame.Timestamp);

3)  OpenNextFrame()

public InteractionFrame OpenNextFrame ( int millisecondsWait )

8．KinectRuntimeExtensions

1)KinectRuntimeExtensions.GetRawPixelData(this Microsoft.Kinect.DepthImageFrame)

a.

DepthImagePixel[] depthBuffer;

DepthImageFrame frame=depthImageFrame;

depthBuffer = frame.GetRawPixelData();

b.

    interactionStream.ProcessDepth(depthFrame.GetRawPixelData(), depthFrame.Timestamp);

9．UserInfol类

1) SkeletonTrackingId

     userInfol.SkeletonTrackongId

2) HandPointers

 foreach (InteractionHandPointer handPointer in userInfol.HandPointers){}

10．枚举

1）InteractionHandType 

 

Member name

Value

Description

Grip

1 

A grip event has been detected.

GripRelease

2 

A grip release event has been detected.

None

0 

Some other hand event has been detected.

2）InteractionHandType 

 

Member name

Value

Description

Left

1 

The hand is a left hand.

None

0 

The hand cannot be classified as a right or left hand.

Right

2 

The hand is a right hand.

 HandType ConvertHandType(InteractionHandType interactionHandType)

 {

       switch (interactionHandType)

       {

                case InteractionHandType.Left:

                    return HandType.Left;

                case InteractionHandType.Right:

                    return HandType.Right;

                default:

                    return HandType.None;

         }

 }

 


以下是我的一段代码，和程序运行得到的结果：


 

 

框架：

1、IInteractionClient 接口的实现：
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Microsoft.Kinect.Toolkit.Interaction;
namespace HandGesture
{
    class IInteractionClientComplement : IInteractionClient
    {
        public InteractionInfo GetInteractionInfoAtLocation(int skeletonTrackingId, InteractionHandType handType, double x, double y)
        {
            InteractionInfo interactionInfo = new InteractionInfo
            {
                IsPressTarget = false,
                IsGripTarget = false,
                PressAttractionPointX=0.5,
                PressAttractionPointY=0.5,
                PressTargetControlId=0
            };
            return interactionInfo;
        }
    }
}
2、初始化：

using Microsoft.Kinect.Toolkit;
using Microsoft.Kinect.Toolkit.Interaction;


//Interaction
  InteractionStream    interactionStream;
 IInteractionClientComplement   iInteractionClientComplement;


//Interaction                                                                                                         
iInteractionClientComplement = new IInteractionClientComplement();
 interactionStream = new InteractionStream(_KinectSensor, iInteractionClientComplement);
 interactionStream.InteractionFrameReady += new EventHandler<InteractionFrameReadyEventArgs>(interactionStream_InteractionFrameReady);//interactionStream.OpenNextFrame(34);

 

3、在Kinect中数据流事件中调用：

 void _KinectSensor_AllFramesReady(object sender, AllFramesReadyEventArgs e)

{

 //彩色图像
            ColorImageFrame colorFrame = e.OpenColorImageFrame();
            //深度图像
            DepthImageFrame depthFrame = e.OpenDepthImageFrame();
            //骨骼帧
            SkeletonFrame skeletonFrame = e.OpenSkeletonFrame();
            为空则直接返回
            if (colorFrame == null || depthFrame == null || skeletonFrame == null)
            {
                return;
            }

           if (_KinectSensor != null)
            {
                Vector4 accelerometerReading = _KinectSensor.AccelerometerGetCurrentReading();
                interactionStream.ProcessSkeleton(SkeletonFrameOpetate.skeletons, accelerometerReading, skeletonFrame.Timestamp);//Grip Release
                interactionStream.ProcessDepth(depthFrame.GetRawPixelData(), depthFrame.Timestamp);
            }

}

4、Interaction事件处理函数：

 void interactionStream_InteractionFrameReady(object sender, InteractionFrameReadyEventArgs e)//Intecration事件处理函数

  {
            InteractionFrame interactionFrame = e.OpenInteractionFrame();
            if (interactionFrame == null) { return; }

             UserInfo[] userInfos = new UserInfo[InteractionFrame.UserInfoArrayLength];
            interactionFrame.CopyInteractionDataTo(userInfos);

           

 if (userInfos == null)
            {
                return;
            }

            for (int userIndex = 0; userIndex < userInfos.Length; userIndex++)
            {
                int playerIndex = userIndex;
                UserInfo userInfo = userInfos[userIndex];
                int skeletonTrackingId = userInfo.SkeletonTrackingId;

                foreach (InteractionHandPointer interactionHandPointer in userInfo.HandPointers)
                {
                    if (interactionHandPointer.HandType == InteractionHandType.None && interactionHandPointer.IsPrimaryForUser == false && interactionHandPointer.IsActive == false && interactionHandPointer.IsInteractive == false && interactionHandPointer.IsTracked == false)
                    {
                        continue;
                    }

                    if (interactionHandPointer.HandType == InteractionHandType.Left)//左手
                    {

                                 if (interactionHandPointer.HandEventType == InteractionHandEventType.None)
                        {
                            continue;
                        }
                        if (interactionHandPointer.HandEventType == InteractionHandEventType.Grip)
                        {
                            isLeftHandGrip = true;
                        }
                        if (interactionHandPointer.HandEventType == InteractionHandEventType.GripRelease)
                        {
                            isLeftHandGripRelease = true;
                        }

                    }

                  if (interactionHandPointer.HandType == InteractionHandType.Right)//右手
                   {

                          if (interactionHandPointer.HandEventType == InteractionHandEventType.None)
                        {
                            continue;
                        }
                        if (interactionHandPointer.HandEventType == InteractionHandEventType.Grip)
                        {
                            isRightHandGrip = true;
                        }
                        if (interactionHandPointer.HandEventType == InteractionHandEventType.GripRelease)
                        {
                            isRightHandGripRelease = true;
                        }

                   }


                }//end--foreach()----

            }//end--for()---

 

   }//end---interactionStream_InteractionFrameReady------

 

 

基锋
关注
专栏目录
Understand分析Kinect SDK 1.7自带例子（C++）图集一
bcbobo21cn的专栏
08-16 970
例子文件夹； 第一个例子； 第二个例子； 第三个例子；
Kinect开发之 Interaction交互设计
JavaFresh
11-23 733
   Kinect 1.7和以后版本的SDK，最大的变化是添加了Kinect Interaction 和 Kinect Fusion。Kinect Interactions 提供了一些新的带有姿势识别的控件如 push-to-press 按钮, grip-to-pan 列表控件， 而且支持多用户，同时二个人进行的交互，这些新添加的控件能够非常方便的集成到应用程序中，极大的简化了开发和调试过程。...
interaction_api:用于Dota交互的Flask API
03-18
interact_api 用于Dota交互的Flask API后端
OpenHarmony 的 Binder C++ 框架
最新发布
朝花夕拾
08-19 808
添加依赖此外，IPC/RPC依赖的refbase实现在公共基础库下，请增加对utils定义IPC接口ITestAbilitySA接口继承IPC基类接口，接口里定义描述符、业务函数和消息码，其中业务函数在Proxy端和Stub端都需要实现。定义和实现服务端该类是和IPC框架相关的实现，需要继承。Stub端作为接收请求的一端，需重写方法用于接收客户端调用。定义服务端业务函数具体实现类定义和实现客户端 TestAbilityProxy该类是Proxy端实现，继承，调用接口向Stub。
[译]Kinect for Windows SDK开发入门(十八)：Kinect Interaction交互控件
weixin_34166847的博客
07-14 175
   本文译自 http://dotneteers.net/blogs/vbandi/archive/2013/03/25/kinect-interactions-with-wpf-part-i-getting-started.aspx，建议直接点击查看。    今年三月份发布了1.7版本的SDK，这一版本的SDK较前一版本最大的变化是添加了Kinect Interactions 和 Kinec...
Kinect Interaction概念
gaozhongpai的专栏
05-03 901
第一次接触这新的KinectInteraction特性，有很多概念可能会遇到。理解这些概念对于知道这些新特性哪些能做哪些不能做很重要。 这KinectInteraction控制同时也设计成可以兼容鼠标键盘控制的Kinect应用。 手势跟踪 第一个概念是手势跟踪。如果你以前用过Kinect for Windows SDK， 你应该熟悉骨骼跟踪，即SDK在它视野范围内标识人体并且为他们创建骨架。
Kinect Interactions
gaojinjingg的专栏
09-22 325
Kinect Interactions 提供了一些新的带有姿势识别的控件如 push-to-press 按钮, grip-to-pan 列表控件， 而且支持多用户，同时二个人进行的交互，这些新添加的控件能 够非常方便的集成到应用程序中，极大的简化了开发和调试过程。
kinect学习笔记（二）—— Sdk平台的搭建~、
weixin_34197488的博客
01-08 830
一、资源下载        由于我们使用的kinect v1.0，所以我们只需要使用1.8版本的sdk就好了，然后资源包，在QQ群的共享里面已经有啦，所以大家可以直接下载。 二、软件安装        安装的时候先安装第二个再安装第一个，然后就OK了，虽然默认路径是在C盘，有强迫症的人也是没办法的！，然后源代码是封闭的，不利于我们学习opengl以及chip……（忘记叫什么了）。但是为了...
KinectSDK1.7
08-16
Kinect1.7驱动，有需要就下，不需再多的介绍了。。。。。。
KinectSDK-v2.0_1409-Setup.exe
05-24
KinectSDK-v2.0_1409-Setup.exe
Understand分析Kinect SDK 1.7自带例子（C++）图集二
bcbobo21cn的专栏
08-16 525
第14个例子；
KinectInteraction
12-25
用于Kinect的人机交互的开发资料，利用C#语言进行编写，很适合开发者进行开发。
Kinect V2 SDK API说明文档
08-14
介绍Kinect V2 SDK API的说明文档，以及使用方式。 纯英文，不过搞kinect开发的基本看得懂。
Kinect SDK V1.7 开发工具包概览
bcbobo21cn的专栏
07-14 1068
一 Developer Toolkit 概览 组件；包括：Toolkit, Toolkit.Controls, Toolkit.FaceTracking,Toolkit.Fusion,Kinect Speech Language Packs； 文档；包括：在线资源，SDK文档，CodePlex上的例子，人机接口指南； C#例子；包括：Avateering，WP
Kinect2.0 UI交互 InteractionManager脚本
m0_46551483的博客
05-21 1332
Kinect2.0 UI交互 Kinect官方已经SDK已经打包好了UI交互脚本InteractionManager 使用： 将手所在的image拖入到GUI Hand Cursor，脚本会通过GUI Hand Cursor 获取到手的对象 playerIndex ： 用户当前的index坐标，kinect设备最多可识别6个人，kinect会将识别到的人添加到一个list中，index代表用户在list中的下标。 leftHandInteraction rightHandInteraction ：脚本识别的
Kinect结构
weixin_51087463的博客
04-05 252
https://blog.csdn.net/lifan_3a/article/details/8442920
KinectInteraction 本地API
gaozhongpai的专栏
05-03 844
这本地API提供了两个接口： INuiInteractionStream，一个提供了所有计算交互的流，同时可以使用跟踪用户的手指示器和用户信息。 INuiInteractionClient，提供一个方法来报告用户当前把哪个控制作为目标。 这个API同时提供了一个创建和初始化交互流的函数：INuiInteractionStream。 这个接口在 KinectInteraction17
KINECT SDK 用法
shiwaxinbin的专栏
11-14 4104
1、安装KinectSDK-v1.6-Setup.exe,然后，安装KinectDeveloperToolkit-v1.6.0-Setup.exe 2、软件安装后安装硬件部分，取出kinect传感器，接上电源，然后将USB插在电脑上，等待驱动自动下载。驱动可以完全自动安装，无须人为介入。 3、打开安装好的KinectDeveloperToolkit，每一长方形区域是一个简单的demo，每一个d
kinect for windows - SkeletonBasics-D2D详解之二
weixin_30273175的博客
03-03 164
首先看骨骼追踪例子代码的结构：例子代码不是很多，在SkeletonBasics.cpp中，大部分的功能都在kinect SDK中实现，应用开发只需要了解接口，并调用它的接口即可。首先我们找到main函数：int APIENTRY wWinMain(HINSTANCE hInstance, HINSTANCE hPrevInstance, LPWSTR lpCmdLine, int nCmdSh...
Kinect SDK编程指南
通过学习和应用这个SDK，开发者可以创建出具有创新性的交互方式，例如手势控制、语音命令等，这些都基于Kinect的先进传感器技术。为了充分利用SDK，开发者需要熟悉C++或C#编程，并具备基本的Windows编程经验。 请...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值