Mastering openFrameworks_第十章_使用深度相机

使用深度相机

深度摄像机测量传感器到物体的距离，并为我们提供它所看到的3d场景的信息。利用这些信息，可以很容易地分析和识别场景中的3d物体，包括人和他们的身体部位。所以今天，在大多数交互项目中，深度摄像机是提供非接触交互的最常用的传感器。在本章中，我们将学习如何使用ofxOpenNI插件在openFrameworks项目中使用深度相机。此外，我们将考虑使用深度图像的例子，使一个平面，如墙壁，桌子，或地板互动。

所涵盖的题目如下:

1.深度相机的基础知识

2.安装ofxOpenNI插件

3.例子

4.创建交互式表面

深度相机的基础知识

深度相机是一种能够捕捉深度图像的相机设备。深度图像像素的值不等于光的亮度或颜色，而等于从摄像机到对象相应部分的距离。这类照相机的主要类型如下:

1.飞行时间照相机:它发射一束激光，等待这个信号回来。通过测量从发射到接收光束之间的时间，并使用已知的光速，它计算出到一个物体的距离。这种相机工作在光线和黑暗的环境中，具有很高的准确度。其中一类相机速度相对较慢，用于精确的地理测量和大面积的三维扫描。另一类相机，如松下D-Imager，可以实时工作，广泛应用于室内和室外场景的交互式应用。

2.被动式立体照相机:由两个或两个以上的可见光照相机组成，它们在空间上稍微分开，并且精确地对准。摄像机捕获帧，然后计算它们的像素之间的立体匹配，以利用视差效应估计到目标的距离。立体摄像机广泛应用于户外机器人和手术辅助等领域。它们在可见光下捕捉物体，因此在所有场景中都有良好的照明。由于立体匹配的特性，这种相机的测量精度随着距离的增加而降低。

3.主动红外立体照相机:它使用低能量红外激光器在物体上投射一个伪随机点图案，然后用红外照相机捕捉它。

注意：人类的眼睛看不到红外线，所以如果没有设备，例如手机上的摄像头，你永远看不到这些点。

利用投影模式和捕获图像之间的立体匹配计算深度图像。这种相机的测量精度像被动情况一样，随着距离的增加而降低。它们在光线和黑暗的室内环境下都能完美地工作。

由于采用低能量激光器，这种相机不能在阳光直射的室外环境下工作。此外，他们很难看到透明的物体，如玻璃，和光源，如灯。

今天，他们是最便宜的相机，用于娱乐和姿态控制应用，也用于许多种机器人和交互式实验。

在这一章中，我们将只考虑主动红外立体相机。他们工作在室内空间，有先进的SDK(OpenNI)，成本约200美元。飞行时间实时相机和被动立体声相机可以被认为是更强大的，因为他们可以在户外空间工作，但目前他们的价格从1800美元起。

注意：预计微软Kinect2将会是一个便宜的深度摄影机。

主动红外立体摄像机

有几个不同厂商的深度摄像机系列:微软Kinect，华硕Xtion和PrimeSenseCarmine，每个厂商都有几个摄像机型号。现在使用的大多数相机都有以下特点:

1.稳定的测距距离为80厘米到4米(还有一些相机可以在近模式下工作，范围为40厘米)。

2.输出深度图像分辨率为640480像素，30FPS。深度测量的精度取决于距离物体的距离，但平均值为2厘米。

3.视角范围是57度，所以它看到的是一个长度为距离1米处1米。

4.此外，相机可以包括一个普通的彩色网络相机和麦克风的音频捕捉。

相机之间最显著的区别在于连接性和尺寸。微软Kinect连接到USB2.0和USB3.0，但是相当大。AsusXtion和PrimeSenseCarmine比较小，因此安装起来比较方便，但是目前在连接到USB3.0时存在一些问题。

这些摄像机拍摄的深度图像可用于三维场景分析，包括人体识别和手势分析。这些功能是在非盈利组织OpenNI开发的开放跨平台的OpenNI库中实现的，OpenNI开发的OpenNI是开放自然界面的http://www.OpenNI.org。

注意：OpenNI,尤其是它的子部分NiTE，主要致力于分析和识别人类的姿势和手势。如果您需要任何其他3d对象的处理能力，比如搜索特定的对象，比如球体和柱面，或者从多个深度图像拼接数据，您还应该使用PCL库。这是一个用于处理从深度图像获得的三维点云的开放库。预计在不久的将来会出现新的深度照相机。我们相信本章所讨论的主要原则也适用于这些相机。

在openFrameworks项目中使用OpenNI的最简单的方法是链接ofxOpenNI插件。让我们讨论如何安装插件并解释其示例。

注意：让我们注意一下，openFrameworks有ofxKinect的核心插件，可以和微软的Kinect摄像头一起工作。目前它不使用OpenNI。此插件适用于使用深度图像或从相机获得的三维点云的项目。有关详细信息，请参阅openFrameworks的示例/插件/kinectexample。在这一章中，我们将使用基于openni的解决方案(在ofxOpenNI插件中实现)，因为它具有追踪用户和识别手势等额外功能，并且适用于所有深度相机模型。

安装ofxOpenNI插件

OfxOpenNI插件最初是由MatthewGingold开发的。这个插件包含了OpenNI的基本功能，包括以下功能:

1.获取深度图像

2.获得一个彩色图像，如果网络相机是包括在您的深度相机模型

3.跟踪手势应用程序中使用的手(即手腕位置)

4.跟踪人体，得到他们的轮廓和骨架点的位置。此外，它支持多个深度相机同时进行。

目前，ofxOpenNI是一个非核心插件，所以你需要下载并安装它