RGB-D深度相机原理

目前主流的RGB-D深度相机有微软Kinect、华硕Xtion、奥比中光、英特尔RealSense等

Kinect

Kinect v1

2009年，微软将3D结构光技术应用在Kinect v1上，为Xbox的体感游戏带来硬件和技术支持。安装教程见Ubuntu下Kinect XBOX 360驱动安装与骨骼跟踪教程

3D结构光技术的基本原理：通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。

Kinect v2

ToF测距有单点和多点两种，手机上一般会用多点测距。

多点测距的原理：和脉冲的单点测距类似，但是其收光器件为CCD，即带电荷保持的光敏二极管阵列，对光响应具有积分特性。基本原理是激光源发射一定视野角激光，其中激光时长为dt(从t1到t2)，CCD每个像素利用两个同步触发开关S1（t1到t2）、S2(t2到t2+dt)来控制每个像素的电荷保持元件采集反射光强的时段，得到响应C1、C2。物体距离每个像素的距离L=0.5*c*dt*c2/(c1+c2)，其中c是光速（该公式可以去除反射物反光特性差异对测距的影响）。简单来说就是，发出一道经过处理的光，碰到物体以后会反射回来，捕捉来回的时间，因为已知光速和调制光的波长，所以能快速准确计算出到物体的距离。

华硕Xtion

Xtion Pro Live

安装教程见Xtion Pro Live驱动安装与骨骼跟踪

Xtion2

• 强大的深度感应： 既准确又可扩充的 640 x 480 深度分辨率
• 高 RGB 分辨率： 高达五百万像素 (2592 x 1944) 的影像分辨率
• 省电： USB 3.0 耗电量低
• 尺寸精巧： 体积仅约 110 x 35 x 35mm
• 适合开发者使用： 兼容于OpenNI 2.2并支持多个操作系统

 

奥比中光

 

英特尔RealSense

RealSense深度摄像头D415和D435将Intel D4视觉处理器和深度模块集成在外形小巧、功能强大、成本低廉、可立即部署的封装中。RealSense D400系列摄像头设计用于实现轻松设置和便于携带，是将深度感应应用到设备中的开发者、制造者和创新者的理想选择。这些摄像头可捕获室内或室外环境，具有远距离功能以及高达1280×720的深度分辨率（30帧每秒 (fps)）。

全系列高质量的计算机视觉设备对比如下

• 支持室内室外使用
• 深度摄像头D415配备卷帘快门和标准视野（Rolling Shutter; 1.4um x 1.4um pixel size），为将深度流数据添加到现有系统提供了通用解决方案。而D435配备全局快门和宽视野（Global Shutter; 3um x 3um pixel size），非常适合用于在快速移动的VR或机器人应用中捕获深度数据。
• 工作电压5V，不用外接电源，直接插到USB上就可以用
• depth成像效果没有Kinect v2好
• color数据和Kinect v2一样，1080P X 30fps
• depth数据最高可达90fps（最大848X480），分辨率最高可达1280X720(30fps)
• USB是USB3.0或Type-C，Ubuntu16.04/Windows10以上

深度相机应用

人脸相关技术

背景虚化、人像光效、动画表情、三维美颜、活体检测、视线矫正

智能人机交互

骨骼跟踪、手势识别、空间测绘、三维重建、地图重建、自主导航、增强现实

预计未来深度相机在智能手机、智能电视、AR/VR设备、智能穿戴、机器人等领域中会有越来越广泛的应用。