相比于上一篇文章,这里我们将官方给的 rosbag 数据包替换为来自深度相机的实时数据。之所以选择 Intel RealSense 这款深度相机,仅仅是因为它是最容易买到的。。。在京东上搜“深度相机”,符合要求的几乎都是这个系列的。具体到 D435i 这个型号,它可以提供深度和 RGB 图像,而且带有 IMU,未来如果我们继续做视觉+惯导的 SLAM 也够用了。
深度相机 RealSense D435i 简介
Intel 官方给出了非常详细的介绍,尤其是产品手册,几乎涵盖了用户需要(以及不需要)了解的全部信息。
这里把其中关于 D435i 的关键信息摘录出来,方便以后查阅。
硬件信息
d435i.png
size.png
最高 1280×720 双目深度分辨率
最高 1920×1080 RGB 分辨率
最高 90 FPS 深度视频流。深度流与普通 RGB 视频流类似,只不过每个像素点的值不再是 RGB 或灰度值,而是物体相对于相机的距离。
只能对相同帧率的 RGB 与深度视频流做同步设置
双目 baseline 为 50 mm
深度探测范围 0.2 m ~ 10 m
深度坐标系以左侧相机为中心(上图中 centerline of 1/4-20 是指三脚架螺丝空的中心)
内含一个 6 自由度的 IMU,对应刚体在三维空间中 6 种运动方式:前后、左右、上下的平移,以及绕刚体三个轴的旋转 —— 绕前后方向轴旋转 roll, 绕左右方向轴旋转 pitch, 绕上下方向轴旋转 yaw
测距原理
Interl RealSence D4×× 系列,包括 D435i,都是采用经典的双目视觉的方式测量深度。尽管具有红外投射器,但并不是采用红外反射测距。它的作用仅仅是投射不可见的固定的红外纹理样式,提高在纹理不明显的环境中(例如白墙)的深度计算精度,辅助双目视觉测距。左右两个相机将图像数据送入内置的深度处理器,在其中基于双目测距的原理计算每个像素的深度值。
下图显示的是红外投射在白纸上的纹理模式:
infrared.png
双目测距相机的参数
Parameter
Camera Sensor Properties
Image Sensor
OmniVision OV9282
Active Pixels
1280 × 800
Sensor Aspect Ratio
8 :5
Format
10-bit RAW
F Number
f / 2.0
Focal Length
1.93 mm
Filter Type
IR Cut - D420, None - D430, D435/D435i
Focus
Fixed
Shutter Type
Global Shutter
Signal Interface
MIPI CSI -2, 2× Lanes
Horizontal Field of View
91.2°
Vertical Field of View
65.5°
Diagonal Field of View
100.6°
Baseline
50 mm
Depth FOV HD
H:87±3,V:58±1,D:95±3
Depth FOV VGA
H:75±3,V:62±1,D:89±3
Distortion
<=1.5%
红外投射器参数
Parameter
Properties
Projector
Infrared
Pattern Type
Static
Illuminating Component
Vertical-cavity surface-emitting laser(VCSEL) + optics
Laser Controller
PWM
Optical Power
360 mW average, 4.25 W peak
Laser Wavelength
850 nm ± 10 nm nominal @20°
Laser Compliance
Class 1, IEC 60825-1:2007 Edition 2, IEC 60825-1:2014 Edition 3
Horizontal Field of Projection