使用深度相机
深度摄像机测量传感器到物体的距离,并为我们提供它所看到的3d场景的信息。利用这些信息,可以很容易地分析和识别场景中的3d物体,包括人和他们的身体部位。所以今天,在大多数交互项目中,深度摄像机是提供非接触交互的最常用的传感器。在本章中,我们将学习如何使用ofxOpenNI插件在openFrameworks项目中使用深度相机。此外,我们将考虑使用深度图像的例子,使一个平面,如墙壁,桌子,或地板互动。
所涵盖的题目如下:
1.深度相机的基础知识
2.安装ofxOpenNI插件
3.例子
4.创建交互式表面
深度相机的基础知识
深度相机是一种能够捕捉深度图像的相机设备。深度图像像素的值不等于光的亮度或颜色,而等于从摄像机到对象相应部分的距离。这类照相机的主要类型如下:
1.飞行时间照相机:它发射一束激光,等待这个信号回来。通过测量从发射到接收光束之间的时间,并使用已知的光速,它计算出到一个物体的距离。这种相机工作在光线和黑暗的环境中,具有很高的准确度。其中一类相机速度相对较慢,用于精确的地理测量和大面积的三维扫描。另一类相机,如松下D-Imager,可以实时工作,广泛应用于室内和室外场景的交互式应用。
2.被动式立体照相机:由两个或两个以上的可见光照相机组成,它们在空间上稍微分开,并且精确地对准。摄像机捕获帧,然后计算它们的像素之间的立体匹配,以利用视差效应估计到目标的距离。立体摄像机广泛应用于户外机器人和手术辅助等领域。它们在可见光下捕捉物体,因此在所有场景中都有良好的照明。由于立体匹配的特性,这种相机的测量精度随着距离的增加而降低。
3.主动红外立体照相机:它使用低能量红外激光器在物体上投射一个伪随机点图案,然后用红外照相机捕捉它。
注意:人类的眼睛看不到红外线,所以如果没有设备,例如手机上的摄像头,你永远看不到这些点。
利用投影模式和捕获图像之间的立体匹配计算深度图像。这种相机的测量精度像被动情况一样,随着距离的增加而降低。它们在光线和黑暗的室内环境下都能完美地工作。
由于采用低能量激光器,这种相机不能在阳光直射的室外环境下工作。此外,他们很难看到透明的物体,如玻璃,和光源,如灯。
今天,他们是最便宜的相机,用于娱乐和姿态控制应用,也用于许多种机器人和交互式实验。
在这一章中,我们将只考虑主动红外立体相机。他们工作在室内空间,有先进的SDK(OpenNI),成本约200美元。飞行时间实时相机和被动立体声相机可以被认为是更强大的,因为他们可以在户外空间工作,但目前他们的价格从1800美元起。
注意:预计微软Kinect2将会是一个便宜的深度摄影机。
主动红外立体摄像机
有几个不同厂商的深度摄像机系列:微软Kinect,华硕Xtion和PrimeSenseCarmine,每个厂商都有几个摄像机型号。现在使用的大多数相机都有以下特点:
1.稳定的测距距离为80厘米到4米(还有一些相机可以在近模式下工作,范围为40厘米)。
2.输出深度图像分辨率为640480像素,30FPS。深度测量的精度取决于距离物体的距离,但平均值为2厘米。
3.视角范围是57度,所以它看到的是一个长度为距离1米处1米。
4.此外,相机可以包括一个普通的彩色网络相机和麦克风的音频捕捉。
相机之间最显著的区别在于连接性和尺寸。微软Kinect连接到USB2.0和USB3.0,但是相当大。AsusXtion和PrimeSenseCarmine比较小,因此安装起来比较方便,但是目前在连接到USB3.0时存在一些问题。
这些摄像机拍摄的深度图像可用于三维场景分析,包括人体识别和手势分析。这些功能是在非盈利组织OpenNI开发的开放跨平台的OpenNI库中实现的,OpenNI开发的OpenNI是开放自然界面的http://www.OpenNI.org。
注意:OpenNI,尤其是它的子部分NiTE,主要致力于分析和识别人类的姿势和手势。如果您需要任何其他3d对象的处理能力,比如搜索特定的对象,比如球体和柱面,或者从多个深度图像拼接数据,您还应该使用PCL库。这是一个用于处理从深度图像获得的三维点云的开放库。预计在不久的将来会出现新的深度照相机。我们相信本章所讨论的主要原则也适用于这些相机。
在openFrameworks项目中使用OpenNI的最简单的方法是链接ofxOpenNI插件。让我们讨论如何安装插件并解释其示例。
注意:让我们注意一下,openFrameworks有ofxKinect的核心插件,可以和微软的Kinect摄像头一起工作。目前它不使用OpenNI。此插件适用于使用深度图像或从相机获得的三维点云的项目。有关详细信息,请参阅openFrameworks的示例/插件/kinectexample。在这一章中,我们将使用基于openni的解决方案(在ofxOpenNI插件中实现),因为它具有追踪用户和识别手势等额外功能,并且适用于所有深度相机模型。
安装ofxOpenNI插件
OfxOpenNI插件最初是由MatthewGingold开发的。这个插件包含了OpenNI的基本功能,包括以下功能:
1.获取深度图像
2.获得一个彩色图像,如果网络相机是包括在您的深度相机模型
3.跟踪手势应用程序中使用的手(即手腕位置)
4.跟踪人体,得到他们的轮廓和骨架点的位置。此外,它支持多个深度相机同时进行。
目前,ofxOpenNI是一个非核心插件,所以你需要下载并安装它