Kinect for windows 开发入门七：景深数据获取和使用上

最新推荐文章于 2022-03-28 15:35:42 发布

Kinector

最新推荐文章于 2022-03-28 15:35:42 发布

阅读量2.3k

点赞数

分类专栏： Kinect for Windows 开发入门文章标签： Kinect Kinectforwindows

本文链接：https://blog.csdn.net/kinector/article/details/9963721

版权

Kinect for Windows 开发入门专栏收录该内容

10 篇文章 1 订阅

订阅专栏

背景知识

1. 景深数据通过Kinect红外传感器（红外发射器和摄像头）获取。

2. 红外摄像机的视场是金字塔形状的。离摄像机远的物体比近的物体拥有更大的视场横截面积。这意味着影像的高度和宽度，比如640X480和摄像机视场的物理位置并不一一对应。但是每个像素的深度值是和视场中物体离摄像机的距离是对应的。

3. Kinect中深度值最大为4096mm，0值通常表示深度值不能确定，一般应该将0值过滤掉。微软建议在开发中使用1220mm~3810mm范围内的值。在进行其他深度图像处理之前，应该使用阈值方法过滤深度数据至1220mm-3810mm这一范围内。下图显示了Kinect Sensor的感知范围，其中的default range对Xbox360和Kinect for Windows都适用，而near range仅对后者适用：

4. 深度帧数据中，每个像素占16位，这样BytesPerPixel属性，即每一个像素占2个字节。每一个像素的深度值只占用了16个位中的13个位。如图：

获取每一个像素的距离很容易，但是要直接使用还需要做一些位操作。可能大家在实际编程中很少情况会用到位运算。如上图所示，深度值存储在第3至15位中，要获取能够直接使用的深度数据需要向右移位，将游戏者索引(Player Index)位移除。后面将会介绍游戏者索引位的重要性。下面的代码简要描述了如何获取像素的深度值。代码中pixelData变量就是从深度帧数据中获取的short数组。PixelIndex基于待计算像素的位置计算出来的。SDK在DepthImageFrame类中定义了一个常量PlayerIndexBitmaskWidth，它定义了要获取深度数据值需要向右移动的位数。在编写代码时应该使用这一常量而不是硬编码，因为未来随着软硬件水平的提高，Kinect可能会增加能够同时识别人数的个数，从而改变PlayerIndexBitmaskWidth常量的值。

Int32 pixelIndex = (Int32)(p.X + ((Int32)p.Y *frame.Width));

Int32 depth = this.depthPixelDate[pixelIndex]>> DepthImageFrame.PlayerIndexBitmaskWidth;

5. 色彩的Pixeldata用Byte[]存储，而景深则是用Short[]存储。

6. 示例中演示了如何获取某一点的深度数据，也演示了简单的深度数据处理，如：取反，灰度增强，彩色渲染

示例代码

1. 完整代码请到资源块下载

2. 获取景深影像：

privatevoid kinectSensor_FrameReady(object sender, DepthImageFrameReadyEventArgs e)

{

// Clean the last depth framebefore fetching the next frame.

if (lastDepthFrame != null)

{

lastDepthFrame.Dispose();

lastDepthFrame = null;

}

lastDepthFrame =e.OpenDepthImageFrame();

if (null != lastDepthFrame)

{

// Different with color data,it's not byte[] but short[]

lastPixelData = newshort[lastDepthFrame.PixelDataLength];

lastDepthFrame.CopyPixelDataTo(lastPixelData);

EditDepth_Reverted(lastPixelData,lastDepthFrame);

EditDepth_Enhance(lastPixelData, lastDepthFrame);

EditDepth_RandomColor(lastPixelData, lastDepthFrame);

this.imageBitmap.WritePixels(this.imageBitmapRect,lastPixelData, this.imageStride, 0);

}

3. 简单的图像处理：

privatevoid EditDepth_Reverted(short[] pixelData, DepthImageFrame frame)

{

short[] revertPixelData = newshort[frame.Width * frame.Height];

int depth = 0;

for (int index = 0; index <pixelData.Length; index++)

{

depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

revertPixelData[index] = (short)~pixelData[index];

}

RevertImageElement.Source = BitmapSource.Create(frame.Width,frame.Height, 96, 96, PixelFormats.Gray16, null, revertPixelData, frame.Width * frame.BytesPerPixel);

}

privatevoid EditDepth_Enhance(short[] pixelData, DepthImageFrame frame)

{

// 4 bytes per pixel

byte[] enhancedPixelData = newbyte[frame.Width * frame.Height *4];

int depth = 0;

int gray = 0;

for (int index = 0; index <pixelData.Length; index++)

{

depth = (int)(pixelData[index] >> DepthImageFrame.PlayerIndexBitmaskWidth);

// 0xFFF = 4095, show the gray (0~255) according to depth (0 ~ 4095)

gray = 255 * depth / 0xFFF;