Kinect开发学习笔记之(六)带游戏者ID的深度数据的提取
我的Kinect开发平台是:
Win7x86 + VS2010 + Kinect for Windows SDK v1.6 + OpenCV2.3.0
开发环境的搭建见上一文:
http://blog.csdn.net/zouxy09/article/details/8146055
本学习笔记以下面的方式组织:编程前期分析、代码与注释和重要代码解析三部分。
要实现目标:通过微软的SDK提取带游戏者ID的深度数据并用OpenCV显示,不同用户,显示的颜色不同
一、编程前期分析
我们在上一文中提到的是不带游戏者ID的深度数据的提取,具体见下面:
Kinect开发学习笔记之(五)不带游戏者ID的深度数据的提取
http://blog.csdn.net/zouxy09/article/details/8146719
首先,Kinect传感器核心是发射红外结构光,并探测红外光反射,从而可以计算出视场范围内每一个像素的深度值。从深度数据中最先提取出来的是物体主体和形状,以及每一个像素点的游戏者索引信息。然后用这些形状信息来匹配人体的各个部分,最后计算匹配出来的各个关节在人体中的位置。而Kinect具有一次识别多达6个游戏者的能力,并能跟踪最多两个人的骨骼(对于XBOX360来说,就是可以同时两个人玩游戏了)。
可能有点奇怪哦,这一个带游戏者ID,一个不带,还得那么严肃地给它单独开一文来学习。究竟啥来头啊。呵呵,实际上,既然微软提供了这种差别,那么它的存在肯定是有意义的,所谓存在即合理嘛。多个选择嘛。需要用到游戏者ID的时候就用,不需要的时候就不用费那么大劲。也不能说费劲,就是使用游戏者ID的时候,我们需要再做一些工作,去把不同游戏者的轮廓找出来,然后为了区别,标上不同的颜色,这就是本文想实现的。有点啰嗦了。
上一文中,我们讲到,Kinect的深度图像数据有两种格式,一种是带游戏者ID的,一种是不带的。两种格式都是用两个字节来保存一个像素的深度值,而两方式的差别在于:
(1)唯一表示深度值:那么像素的低12位表示一个深度值,高4位未使用;
(2)既表示深度值又含有游戏者ID:Kinect为每一个追踪到的游戏者编号作为索引。而这个方式中,像素值的高13位保存了深度值,低三位保存用户序号,7 (0000 0111)这个位掩码能够帮助我们从深度数据中获取到游戏者索引值。
要注意的是,不要对特定的游戏者索引位进行编码,因为他们是会变化的。实际的游戏者索引位并不总是和Kinect前面的游戏者编号一致。啥意思呢?例如,Kinect视野中只有一个游戏者,但是返回的游戏者索引位值可能是3或者4。也就是说有时候第一个游戏者的游戏者索引位可能不是1。还有,如果走进Kinect视野再走出去,然后再走进来,虽然你还是你,但是Kinect给你的索引ID可能就和原来的不一样了,例如之前返回的索引位是1,走出去后再次走进,可能索引位变为其他值了。所以开发Kinect应用程序的时候应该注意到这一点。
说得有点乱哦,咱们还是看代码吧。
二、代码与注释
- #include <windows.h>
- #include <iostream>
- #include <NuiApi.h>
- #include <opencv2/opencv.hpp>
- using namespace std;
- using namespace cv;
- //处理深度数据的每一个像素,如果属于同一个用户的ID,那么像素就标为同种颜色,不同的用户,
- //其ID不一样,颜色的标示也不一样,如果不属于某个用户的像素,那么就采用原来的深度值
- RGBQUAD shortDepth2RGBquad( USHORT depthID )
- {
- //每像素共16bit的信息,其中最低3位是ID(所捕捉到的人的ID),剩下的13位才是信息
- USHORT realDepth = (depthID & 0xfff8) >> 3; //提取距离信息,高13位
- USHORT player = depthID & 0x07 ; //提取ID信息 ,低3位
- //因为提取的信息是距离信息,为了便于显示,这里归一化为0-255
- BYTE depth = 255 - (BYTE)(256*realDepth/0x0fff);
- RGBQUAD q;
- q.rgbRed = q.rgbBlue = q.rgbGreen = 0;
- //RGB三个通道的值都是相等的话,就是灰度的
- //Kinect系统能够处理辨识传感器前多至6个人物的信息,但同一时刻最多只有2个玩家可被追踪(即骨骼跟踪)
- switch( player )
- {
- case 0:
- q.rgbRed = depth / 2;
- q.rgbBlue = depth / 2;
- q.rgbGreen = depth / 2;
- break;
- case 1:
- q.rgbRed = depth;
- break;
- case 2:
- q.rgbGreen = depth;
- break;
- case 3:
- q.rgbRed = depth / 4;
- q.rgbGreen = depth;
- q.rgbBlue = depth;
- break;
- case 4:
- q.rgbRed = depth;
- q.rgbGreen = depth;
- q.rgbBlue = depth / 4;
- break;
- case 5:
- q.rgbRed = depth;
- q.rgbGreen = depth / 4;
- q.rgbBlue = depth;
- break;
- case 6:
- q.rgbRed = depth / 2;
- q.rgbGreen = depth / 2;
- q.rgbBlue = depth;
- break;
- case 7:
- q.rgbRed = 255 - ( depth / 2 );
- q.rgbGreen = 255 - ( depth / 2 );
- q.rgbBlue = 255 - ( depth / 2 );
- }
- return q;
- }
- int main(int argc, char *argv[])
- {
- Mat image;
- image.create(240, 320, CV_8UC3);
- //1、初始化NUI,注意这里是DEPTH_AND_PLAYER_INDEX
- HRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH_AND_PLAYER_INDEX);
- if (FAILED(hr))
- {
- cout<<"NuiInitialize failed"<<endl;
- return hr;
- }
- //2、定义事件句柄
- //创建读取下一帧的信号事件句柄,控制KINECT是否可以开始读取下一帧数据
- HANDLE nextColorFrameEvent = CreateEvent( NULL, TRUE, FALSE, NULL );
- HANDLE depthStreamHandle = NULL; //保存图像数据流的句柄,用以提取数据
- //3、打开KINECT设备的彩色图信息通道,并用depthStreamHandle保存该流的句柄,以便于以后读取
- hr = NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH_AND_PLAYER_INDEX, NUI_IMAGE_RESOLUTION_320x240,
- 0, 2, nextColorFrameEvent, &depthStreamHandle);
- if( FAILED( hr ) )//判断是否提取正确
- {
- cout<<"Could not open color image stream video"<<endl;
- NuiShutdown();
- return hr;
- }
- namedWindow("depthImage", CV_WINDOW_AUTOSIZE);
- //4、开始读取深度数据
- while(1)
- {
- const NUI_IMAGE_FRAME * pImageFrame = NULL;
- //4.1、无限等待新的数据,等到后返回
- if (WaitForSingleObject(nextColorFrameEvent, INFINITE)==0)
- {
- //4.2、从刚才打开数据流的流句柄中得到该帧数据,读取到的数据地址存于pImageFrame
- hr = NuiImageStreamGetNextFrame(depthStreamHandle, 0, &pImageFrame);
- if (FAILED(hr))
- {
- cout<<"Could not get depth image"<<endl;
- NuiShutdown();
- return -1;
- }
- INuiFrameTexture * pTexture = pImageFrame->pFrameTexture;
- NUI_LOCKED_RECT LockedRect;
- //4.3、提取数据帧到LockedRect,它包括两个数据对象:pitch每行字节数,pBits第一个字节地址
- //并锁定数据,这样当我们读数据的时候,kinect就不会去修改它
- pTexture->LockRect(0, &LockedRect, NULL, 0);
- //4.4、确认获得的数据是否有效
- if( LockedRect.Pitch != 0 )
- {
- //4.5、将数据转换为OpenCV的Mat格式
- for (int i=0; i<image.rows; i++)
- {
- uchar *ptr = image.ptr<uchar>(i); //第i行的指针
- //其二是既表示深度值又含有人物序号,则像素值的高13位保存了深度值,低三位保存用户序号,
- //注意这里需要转换,因为每个数据是2个字节,存储的同上面的颜色信息不一样,
- uchar *pBufferRun = (uchar*)(LockedRect.pBits) + i * LockedRect.Pitch;
- USHORT * pBuffer = (USHORT*) pBufferRun;
- for (int j=0; j<image.cols; j++)
- {
- //对于每一个像素,我们通过它的深度数据去修改它的RGB值;
- RGBQUAD rgb = shortDepth2RGBquad(pBuffer[j]);
- ptr[3*j] = rgb.rgbBlue;
- ptr[3*j+1] = rgb.rgbGreen;
- ptr[3*j+2] = rgb.rgbRed;
- }
- }
- imshow("depthImage", image); //显示图像
- }
- else
- {
- cout<<"Buffer length of received texture is bogus\r\n"<<endl;
- }
- //5、这帧已经处理完了,所以将其解锁
- pTexture->UnlockRect(0);
- //6、释放本帧数据,准备迎接下一帧
- NuiImageStreamReleaseFrame(depthStreamHandle, pImageFrame );
- }
- if (cvWaitKey(20) == 27)
- break;
- }
- //7、关闭NUI链接
- NuiShutdown();
- return 0;
- }
三、代码解析
首先,这里基本上和上一文说的深度数据的获取的流程和API都是一样的,具体的话,参考上一文。只是有几个点需要说明下:
(1)初始化和打开深度数据流的时候传入的参数是不同的,这个需要注意下,我们需要的是DEPTH_AND_PLAYER_INDEX数据;
(2)每个像素的深度数据由两个字节来保存,高13位保存了深度值,低三位保存用户序号。
(3)具体显示的时候我们是这样处理的:
对于每一个像素,我们通过它的深度数据去修改它的RGB值,如果属于同一个用户的ID,那么像素就标为同种颜色,不同的用户,其ID不一样,颜色的标示也不一样,如果不属于某个用户的像素,那么就采用原来的深度值。
首先,这里涉及到了:
USHORTrealDepth = (depthID & 0xfff8) >> 3; //提取距离信息,高13位
USHORTplayer = depthID & 0x07 ; //提取ID信息,低3位
然后RGBQUAD是一个结构体,其保存一个像素点的RGB值,定义如下:
typedef struct tagRGBQUAD {
BYTE rgbBlue;
BYTE rgbGreen;
BYTE rgbRed;
BYTE rgbReserved;
} RGBQUAD;
至此,目标达成。
下面是结果,感觉似乎如果两个人靠得太近的话,也会被识别为同一个用户,标示同样的颜色,这点感觉有点不太稳定,这种情况应该挺容易避免的啊,是我高估了Kinect,还是我高估了我。