【翻译】Kinect v2程序设计(C++) Depth编

最新推荐文章于 2021-01-05 10:24:36 发布

ZY411417998

最新推荐文章于 2021-01-05 10:24:36 发布

阅读量610

点赞数

文章标签： c/c++ 人工智能

原文链接：http://www.cnblogs.com/TracePlus/p/4136357.html

版权

Kinect SDK v2预览版，取得Depth数据的方法说明。

上一节，介绍了通过使用 Kinect for Windows SDK v2 预览版（以下简称为， Kinect SDK v2 预览版）从 Kinect for Windows v2 开发者预览版（后面称， Kinect v2 预览版）取得Color的方法。

这一节，介绍的是从Kinect取得Depth数据的方法。

Depth传感器

Kinect搭载Depth传感器，可以取得Depth数据（和传感器的距离信息）。

Kinect v1，可以读取投射的红外线pattern，从pattern 的变形获取Depth的信息，搭载了「Light Coding」方式的Depth传感器。

Kinect v2预览版，通过从投射的红外线脉冲反射回来的时间来获得Depth的信息，变更为「Time of Flight(ToF)」方式的Depth传感器。

「Light Coding」是以色列 PrimeSense公司的Depth传感技术。详细请参照专利信息，美国申请专利公开（US 2010/0118123 A1）- Depth Mapping using Projected Patterns。

「Time of Flight(ToF)」是美国微软公司收购的拥有Time of Flight(ToF)方式的Depth传感技术的公司（3DV Systems公司，Canesta公司），一般认为使用的是这个技术。

Depth数据的分辨率， Kinect v1是320×240，不过， Kinect v2 预览版提升为512×424。另外，深度方向的分辨率也提高了。

可以取得 Depth 的数据范围， Kinect v1是0.8～4.0[m]的范围， Kinect v2 预览版可以取得0.5～4.5[m]的范围。

上面说的是Default Mode的Depth数据范围。 Kinect v1提供了取得近距离的Depth数据的 Near Mode（0.4～3.0[m]）和取得远距离Depth数据的 Extended Depth（～约10.0[m]）。但是，偏离 Default Mode的范围的 Depth数据的精度会下降。

这节，介绍从Depth传感器取得Depth数据的方法。

图1「Light Coding」方式和「Time of Flight(ToF)」方式的差异（Depth传感器的工作原理的图像）

示例程序

Kinect SDK v2 预览版取得Depth数据，可视化展示的示例程序。上一节的介绍的数据取得阶段的摘录解说。这个示例程序的全部内容，在下面的github里全部公开了。

https://github.com/UnaNancyOwen/Kinect2Sample

图2 Kinect SDK v2预览版的数据取得流程(重发)

「Sensor」

取得「Sensor」

// Sensor
IKinectSensor* pSensor;   ……1
HRESULT hResult = S_OK;
hResult = GetDefaultKinectSensor( &pSensor );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : GetDefaultKinectSensor" << std::endl;
  return -1;
}
hResult = pSensor->Open();  ……3
if( FAILED( hResult ) ){
  std::cerr << "Error : IKinectSensor::Open()" << std::endl;
  return -1;
}

列表1.1 相当于图1「Sensor」的部分(重发)

1 处理Kinect v2预览版的Sensor接口。

2 取得默认的 Sensor。

3 打开Sensor。

「Source」

从「Sensor」取得「Source」。

// Source
IDepthFrameSource* pDepthSource;  ……1
hResult = pSensor->get_DepthFrameSource( &pDepthSource );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : IKinectSensor::get_DepthFrameSource()" << std::endl;
  return -1;
}

列表1.2 相当于图1「Source」的部分

1 取得Depth Frame的Source接口。

2 从Sensor取得 Source。

Kinect SDK v1，要取得 Depth数据主要是利用可以同时取得的 Depth和 Player(人体区域 )的「Stream」。因此，必须要有Depth数据和Player数据的分割处理。（注： Kinect SDK v1提供2种方式来处理Depth和Player Index，老的方法返回一组USHORT，通过位移分离两者；新的方法返回各为2个USHORT的结构）

Kinect SDK v2预览版，Depth和BodyIndex（相当于Kinect SDK v1的Player）分别作为「Source」取得，关于BodyIndex在下一节介绍。

Kinect SDK v1也准备了取得Depth的「Stream」，因为获取Player和Skeleton(人体姿势)数据的情况也很多，主要可以同时取得Depth和Player的「Stream」。

「Reader」

「Source」从打开「Reader」。

// Reader
IDepthFrameReader* pDepthReader;  ……1
hResult = pDepthSource->OpenReader( &pDepthReader );  ……2
if( FAILED( hResult ) ){
  std::cerr << "Error : IDepthFrameSource::OpenReader()" << std::endl;
  return -1;
}

列表1.3 相当于图1「Reader」的部分

1 取得Depth Frame的Reader接口。

2 从Source打开Reader。

「Frame」～「Data」

从「Reader」取得最新的「Frame」。

int width = 512;  ……1
int height = 424;  ……1
unsigned int bufferSize = width * height * sizeof( unsigned short );  ……2
cv::Mat bufferMat( height， width， CV_16SC1 );  ……3
cv::Mat depthMat( height， width， CV_8UC1 );  ……3
cv::namedWindow( "Depth" );
while( 1 ){
  // Frame
  IDepthFrame* pDepthFrame = nullptr;  ……4
  hResult = pDepthReader->AcquireLatestFrame( &pDepthFrame );  ……5
  if( SUCCEEDED( hResult ) ){
    hResult = pDepthFrame->AccessUnderlyingBuffer( &bufferSize， reinterpret_cast<UINT16**>( &bufferMat.data ) );  ……6
    if( SUCCEEDED( hResult ) ){
      bufferMat.convertTo( depthMat， CV_8U， -255.0f / 4500.0f， 255.0f );  ……7
    }
  }
  SafeRelease( pDepthFrame );
  // Show Window
  cv::imshow( "Depth"， depthMat );
  if( cv::waitKey( 30 ) == VK_ESCAPE ){
    break;
  }
}