1. 深度估计3D相机方案
目前市面上常有的 3D 相机方案主要有3种:
-
飞行时间(Time of flight,TOF),代表公司微软Kinect2,PMD,SoftKinect, 联想 Phab,在手机中一般用于3D建模、AR应用,AR测距(华为TOF镜头)
-
双目视觉(Stereo Camera),代表公司 Leap Motion, ZED, 大疆;
-
结构光(Structured-light),代表公司有奥比中光,苹果iPhone X(Prime Sense),微软 Kinect1,英特尔RealSense, Mantis Vision 等,在手机(iPhone,华为)中3D结构光主要用于人脸解锁、支付、美颜等场景。
相机类型 | TOF(飞行时间) | RGB双目(Stereo Camera) | 结构光(Structured light) |
---|---|---|---|
测距方式 | 主动式 | 被动式 | 主动式 |
工作原理 | 根据光的飞行时间(相位差异)直接测量距离 | 基于视差原理,RGB图像特征点匹配,三角测量法 | 主动投射已知编码图案,提升特征匹配的效果,三角测量法 |
分辨率 | 一般低于640×480, Kinect2是512 x 424 | 可达2K高分辨率 | 可达1080×720 |
帧率 | 较高,可达上百帧 | 一般在30fps | 一般在30fps |
测量精度 | 测量精度最高可达厘米 Kinect2深度误差在1.5cm左右 | 近距离可达毫米精度,2m内误差千分之五(5mm) | 近距离能够达到高精度:0.01mm-1mm |
测量范围 | 可以测量较远距离,100m以内 | 受基线限制,一般只能测量较近的距离,距离越远误差越大,一般在2m(基线10mm)以内 | 测量距离一般为10m以内 |
抗干扰 | 受环境影响较小 | 黑暗或者纹理特征不明显等环境干扰 | 室外强光下受干扰较大 |
功耗 | 功耗较大,需要全面照射 | 较大,纯算法功耗 | 一般,需要局部区域投射图案 |
优点 |
|
|
|
缺点 |
|
|
|
应用场景 | 无人驾驶车,机器人,Kinect2,在手机中,TOF由于测量距离长,一般用于3D建模、AR应用,AR测距(华为TOF镜头) | 基于手机的双目应用较少,商用场景较少 | 机器人,Kinect1,手机(iPhone,华为)中3D结构光主要用于人脸解锁、支付、美颜等场景 |
- 从上面三种主流的 3D 相机成像方案来看,各有优劣,但是从实际应用场景来看,在非无人驾驶领域,结构光,特别是散斑结构光的用途是最广泛。
- 因为从精度,分辨率,还有应用场景的范围来看双目和 TOF 都没有办法做到最大的平衡。
- 而且对于结构光容易受环境光干扰,特别是太阳光影响问题,鉴于此类相机都有红外激光发射模块,非常容易改造为主动双目来弥补该问题。
- 当然这三种方案在发展过程中也有一些互相融合趋势,如主动双目+结构光,取长补短,使 3D 相机能适应更多的场景。
- 也有一些同时使用,如手机前置基本确认会采用结构光来做 FaceId(人脸认证),但是后置用来做 AR 应用,结构光和 TOF 都有机会。
- 虽然项目具体使用哪种方案,要结合当前硬件资源,对性能要求等来确定,但从最广泛的使用角度来看,散斑结构光无疑是目前最佳的方案。
2. 深度估计技术说明
(1) 双目相机(双目立体视觉法)
包括一套经过校准的相机(至少两个),已经为其估算了一个通用的3D参考系统。深度图是基于立体三角测量的。即使有多个研究让我们在这方面取得了相当大的进步,但是多目相机估计的深度仍然是不可靠的,特别是在强度/色彩均匀的场景中;
RGB双目相机因为非常依赖纯图像特征匹配,所以在光照较暗或者过度曝光的情况下效果都非常差,另外如果被测场景本身缺乏纹理,也很难进行特征提取和匹配。
产品:
(2) 结构光3D
扫描仪将红外结构光图案投射到现场。当将图案投影到三维形状的表面上时,观察到的图案几何扭曲[79]。通过比较预期的投影模式(如果场景中没有物体)和变形的观察模式,可以恢复表面形状的精确几何重建。可以将各种图案投射到场景上,例如光条纹或任意的条纹。深度估计可能是不可靠的,特别是在反射或透明表面的情况下。Kinect传感器(版本1)属于这种类型的相机。
- 苹果公司:SMI 眼球追踪技术; PRIMESense 3D结构光技术包括器件和实现方案;FACESHIFT 面部捕捉技术,先行垄断了3D人脸核心技术。
- OPPO FINDX:3D结构光采用奥比中光,体验和算法采用 FACE++ 旷视。成为安卓阵营首个3D结构光技术接近苹果XS的终端。
- 华为 MATE20 PRO:自主研发,误识别率不高于百万分之一,军用级别安全可靠,更配合多维度用户使用场景,3D建模等。
相关参考:
- 【深度相机系列四】深度相机原理揭秘--结构光(iPhone X 齐刘海原理)_计算机视觉life-CSDN博客_结构光相机原理
- 华为,苹果,OPPO:揭开3D结构光的神秘面纱 - 知乎
- 奥比中光:奥比中光 | 3D传感 - 3D人脸识别 - 3D感知 - 人工智能视觉
-
红外投影结构光人脸三维重建:红外投影结构光人脸三维重建_clipp_Huang的博客-CSDN博客_红外结构光
(3) 飞行时间(ToF)
顾名思义是测量光飞行时间来取得距离,具体而言就是通过给目标连续发射激光脉冲,然后用传感器接收从反射光线,通过探测光脉冲的飞行往返时间来得到确切的目标物距离。
因为光速激光,通过直接测光飞行时间实际不可行,一般通过检测通过一定手段调制后的光波的相位偏移来实现。
TOF 法根据调制方法的不同,一般可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制(Continuous Wave Modulation)。
脉冲调制需要非常高精度时钟进行测量,且需要发出高频高强度激光,目前大多采用检测相位偏移办法来实现 TOF 功能。
基本原理:
- 深度相机(二)——飞行时间(TOF)_马大哈先生的博客-CSDN博客_飞行时间
-
TOF、RGB双目、结构光优劣分析: 深度相机(一)——分类:TOF、RGB双目、结构光优劣分析_马大哈先生的博客-CSDN博客_tof相机与双目相机的优劣
相关产品:
- SHARP2Y0A02 红外测距对管测试
- Arduino红外传感器-Sharp GP2Y0A02YK 红外测距传感器 (20~150cm)
- Acconeer-红外测距传感器 : 7米量程,精度1毫米,汽车中使用较多