Kinect学习笔记二DepthFrame

Kinect v2学习笔记第二篇DepthFrame 

 

（C#）

深度图信息简述：

Kinect的红外激光装置能够获取空间的深度与红外图像。

深度图像每个像素点的深度值由2个字节，16位组成。（Unshort）

高十三位代表深度值，低三位代表用户ID  0代表未找到用户，最多支持追踪6人。

深度值表示的是该像素点到kinect红外摄像头所在的平面的水平距离。

可识别深度范围是0.5M-4.5M，不在识别范围之内的为全0。识别精度1MM（最小单位）。

深度帧512*424 （一代320*240）分辨率，fps=30.

 

 

 

 

DepthFrame8阶灰度显示代码实例分析（WPF）：与ColorFrame重复部分查看ColorFrame

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Threading.Tasks;

using System.Windows;

using System.Windows.Controls;

using System.Windows.Data;

using System.Windows.Documents;

using System.Windows.Input;

using System.Windows.Media;

using System.Windows.Media.Imaging;

using System.Windows.Navigation;

using System.Windows.Shapes;

using Microsoft.Kinect;

 

namespace myDepthFrameViewer

{

    /// <summary>

    /// MainWindow.xaml 的交互逻辑

    /// </summary>

    public partial class MainWindow : Window

    {

        private const int MapDepthToByte = 8000 / 256;//深度到字节，每色阶跨度 

        private KinectSensor kinectSensor = null;

        private DepthFrameReader depthFrameReader = null;

        FrameDescription depthFrameDescription = null;

        private WriteableBitmap depthBitmap = null;

        private byte[] depthPixels = null;

Byte[]depthPixels用来存储处理后的深度数据

 

 

        public MainWindow()

        {

            InitializeComponent();

 

        }

 

 

        private void myDepthFrame_Loaded(object sender, RoutedEventArgs e)

        {

            this.kinectSensor = KinectSensor.GetDefault();

            this.depthFrameReader = kinectSensor.DepthFrameSource.OpenReader();

            this.depthFrameDescription = this.kinectSensor.DepthFrameSource.FrameDescription;

            this.depthFrameReader.FrameArrived += this.Reader_DepthFrameArrived;

            this.depthBitmap = new WriteableBitmap(this.depthFrameDescription.Width ,this.depthFrameDescription.Height, 96.0, 96.0,PixelFormats.Gray8, null);

            this.depthPixels = new byte[this.depthFrameDescription.Width * this.depthFrameDescription.Height];

            this.kinectSensor.Open();

            this.DataContext = this;

            

        }

 

 

以下为事件处理方法：

深度数帧depthFrame接受事案参数传来的深度帧，然后将其锁住得一帧数据给KinectBuff，

检查数据是否大小匹配，然后对其执行转化函数ProcessDepthFrameDate(),转化结束即可使用ReaderDepthPixels更新数据

        public void Reader_DepthFrameArrived(object sender,DepthFrameArrivedEventArgs e)

        {

            bool Processed = false;

            using (DepthFrame depthFrame=e.FrameReference.AcquireFrame())

            {

                if(depthFrame!=null)

                {

                    using(Microsoft.Kinect.KinectBuffer depthBuffer=depthFrame.LockImageBuffer())

                    {

                        if(((this.depthFrameDescription.Width*this.depthFrameDescription.Height)==(depthBuffer.Size/this.depthFrameDescription.BytesPerPixel))&&

                        (this.depthFrameDescription.Width==this.depthBitmap.PixelWidth)&&(this.depthFrameDescription.Height==this.depthBitmap.Height))

                        {

                            ushort maxDepth = ushort.MaxValue;//获得ushort的最大值

                            this.ProcessDepthFrameData(depthBuffer.UnderlyingBuffer, depthBuffer.Size, depthFrame.DepthMinReliableDistance, maxDepth);//转化方法

                            Processed = true;

                        }

                    }

                }

            }

            if (Processed) this.ReaderDepthPixels();//更新深度帧数据

        }

 

以下为转化方法，接收到的深度数据正好是每一个16位，相当于ushort类型，通过强制类型转换，得到数组指针（此处用指针好处是不用复制数组，节省运算资源，处理加速），

然后对整帧的每一个深度数据进行转换，就是通过除以MapDepthToByte，大小缩小MapDepthToByte倍，化为256以内，用于8阶灰度值的显示。其中不可视的近处与远处默认为0。

        private unsafe void ProcessDepthFrameData(IntPtr depthFrameDate,uint depthFrameDateSize,ushort minDepth,ushort maxDepth)

        {

            ushort * frameDate = (ushort *)depthFrameDate;//强制深度帧数据转为ushort型数组，frameDate指针指向它

            for (int i = 0; i < (int)(depthFrameDateSize / this.depthFrameDescription.BytesPerPixel); ++i)

            {

                //深度帧各深度（像素）点逐个转化为灰度值

                ushort depth = frameDate[i];

                this.depthPixels[i] = (byte)((depth >= minDepth) && (depth <= maxDepth )? (depth / MapDepthToByte) : 0);

            }

        }

 

以下进行depthmap的更新像素值操作，通过depthBitmap.WritePixels完成，其中，new int32REct制定屏幕矩形范围。

 

        private void ReaderDepthPixels()

        {

            this.depthBitmap.WritePixels(

                new Int32Rect(0, 0, this.depthBitmap.PixelWidth, this.depthBitmap.PixelHeight),//范围

                this.depthPixels,//提供数据的数组

                this.depthBitmap.PixelWidth,//步幅，数据的某一单位的大小？

                0);//偏移量

            /*//另一种输出

this.DepthImageName.Source = BitmapSource.Create(this.depthFrameDescription.Width, this.depthFrameDescription.Height, 96.0, 96.0, PixelFormats.Gray8, null,

                                                       this.depthPixels, this.depthBitmap.PixelWidth);*/

            

        }

 

        //图源

        public ImageSource DepthImage

        {

            get

            {

                return this.depthBitmap;

            }

        }

 

        private void myDepthFrame_Closing(object sender, System.ComponentModel.CancelEventArgs e)

        {

            if(depthFrameReader!=null)

            {

                this.depthFrameReader.Dispose();

                this.depthFrameReader = null;

            }

            if(kinectSensor!=null)

            {

                this.kinectSensor.Close();

                this.kinectSensor = null;

            }

        }

    }

}

 

 

由以上也可以看出来，这Kinect V2给我们的深度数据（16位）应该是已经经过移位运算处理了的，不需要像一代那样要手动移3位。

 

 

效果图如下：人物若有长宽变形，属于窗口的长宽设置问题。

 

 

程序流程：

1.KinectSensor.open()开启传感器。

2.获取KinectSensor传感器对象，初始化

Reader 、FrameDescription、bitmap、窗口、注册帧到达事件

DepthBitmap的初始化构造，声明接受转换后表示8阶灰度数据的数组。

3.实现帧到达触发的事件，其中包括转化方法。

4.根据提供的每一帧每一像素8阶灰度数据，构造深度图像用于显示。

5.关闭流，关闭传感器。

 

 

 

 

 

 

 

 

附：

若不想用灰度显示，貌似需要在初始三个RGB值，来表示每个像素点的RGB，然后每像素点RGB值的确定由其深度决定，具体看你是想怎么显示了（依据一定深度范围一定颜色来定），在这我没实验就不再附代码与图。（详情参考映射第三例的通过内存处理）

 

深度数据写入txt文件来查看（必须获得一帧，因输出所有超慢，耗费资源，速度慢！）

stride为图片步长，colorframeBgr32 例如ColorFrame.width*4

将以下代码放置在ProcessDepthFrameData方法中，并添加头文件using System.IO;

在开头初始化时加上int x=0;

if (x == 0)

            {

                FileStream fs = new FileStream("D:\\depth.txt", FileMode.Create);

                StreamWriter sw = new StreamWriter(fs);

 

                for (int i = 0; i < 424; i++)

                {

                    for (int j = 0; j < 512; j++)

                    {

                        sw.Write("[{0:D3}]", frameDate[i * 424 + j]/(8000/256));//数据缩小（8000/256）倍

                    }

                    sw.Write("\n\r");

                }             

                sw.Close();

                fs.Close();

                x = 1;//控制写一帧

 

            }

 

Xaml添加部分代码：

<Image HorizontalAlignment="Left" Name="DepthImageName" Source="{Binding DepthImage}" Stretch="Fill" VerticalAlignment="Top"  />

另一种通过拷贝数组方法显示，但注释部分引起缓存不足，不可行，未解决。

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.Threading.Tasks;

using System.Windows;

using System.Windows.Controls;

using System.Windows.Data;

using System.Windows.Documents;

using System.Windows.Input;

using System.Windows.Media;

using System.Windows.Media.Imaging;

using System.Windows.Navigation;

using System.Windows.Shapes;

using System.IO;

using Microsoft.Kinect;

namespace myDepthFrameViewer

{

    /// <summary>

    /// MainWindow.xaml 的交互逻辑

    /// </summary>

    public partial class MainWindow : Window

    {

        private const int MapDepthToByte = 8000 / 256;//深度到字节，每色阶跨度 

        private KinectSensor kinectSensor = null;

        private DepthFrameReader depthFrameReader = null;

        FrameDescription depthFrameDescription = null;

        private WriteableBitmap depthBitmap = null;

        private byte[] depthPixels = null;

        private ushort[] depth = null;

 

 

        public MainWindow()

        {

            InitializeComponent();

 

        }

        private void myDepthFrame_Loaded(object sender, RoutedEventArgs e)

        {

            this.kinectSensor = KinectSensor.GetDefault();

            this.depthFrameReader = kinectSensor.DepthFrameSource.OpenReader();

            this.depthFrameDescription = this.kinectSensor.DepthFrameSource.FrameDescription;

            this.depthFrameReader.FrameArrived += this.Reader_DepthFrameArrived;

            this.depthBitmap = new WriteableBitmap(this.depthFrameDescription.Width ,this.depthFrameDescription.Height, 96.0, 96.0,PixelFormats.Gray8, null);

            this.depthPixels = new byte[this.depthFrameDescription.Width * this.depthFrameDescription.Height];

            this.kinectSensor.Open();

 

            this.DataContext = this;

            

        }

        public void Reader_DepthFrameArrived(object sender, DepthFrameArrivedEventArgs e)

        {

            bool Processed = false;

            using (DepthFrame depthFrame = e.FrameReference.AcquireFrame())

            {

                if (depthFrame != null)

                {

                    using (Microsoft.Kinect.KinectBuffer depthBuffer = depthFrame.LockImageBuffer())

                    {

                        if (((this.depthFrameDescription.Width * this.depthFrameDescription.Height) == (depthBuffer.Size / this.depthFrameDescription.BytesPerPixel)) &&

                        (this.depthFrameDescription.Width == this.depthBitmap.PixelWidth) && (this.depthFrameDescription.Height == this.depthBitmap.Height))

                        {

                            Processed = true;

                            depth = new ushort[depthBuffer.Size / this.depthFrameDescription.BytesPerPixel];

                            depthFrame.CopyFrameDataToArray(depth);

                        }

                        /*if (Processed)

                        {

                            this.DepthImageName.Source = BitmapSource.Create(this.depthFrameDescription.Width, this.depthFrameDescription.Height, 96.0, 96.0, PixelFormats.Gray8, null,

                                                        depth, depth.Length);

                        }*/

                        depth = null;

                    }

                }

            }

        }

        private void myDepthFrame_Closing(object sender, System.ComponentModel.CancelEventArgs e)

        {

            if(depthFrameReader!=null)

            {

                this.depthFrameReader.Dispose();

                this.depthFrameReader = null;

 

            }

            if(kinectSensor!=null)

            {

                this.kinectSensor.Close();

                this.kinectSensor = null;

            }

        }

 

        

        

    }

}