3D成像技术来袭，分类和原理你了解吗？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

3D成像工作原理和分类

3D成像技术按照工作原理，首先分为被动式和主动式两类。

被动式视觉效仿生物的双眼视觉（binocular vision）原理，由至少2枚图像传感器（image sensor）构成，运用其观测对象在每个图像传感器单独成像的位置，结合2枚图像传感器的相对物理位置，根据几何关系测量原理，可以计算出景深（depth）。请注意，景深和距离是不同的概念，如下图1所示。

双目视觉系统的核心在于关联同一观测点在各自图像传感器中的坐标位置，如上图1的左图所示。然而，在实际使用中，由于受到外部环境和拍摄对象表面纹理属性等客观因素影响，特征点自动匹配在算法上较为复杂，匹配精度也直接影响到景深计算精度，影响系统整体效果。

主动式视觉系统则由于其工作原理的不同，有效解决了这一问题。

主动式视觉系统利用独立的人工光源，主动投射到观测对象来测量景深。主动式视觉根据投射光源和景深技术原理的不同，又分为三小类：三角测距法、结构光法、飞行时间法。如下图2所示。下面做详细介绍：

（1）三角测距法（triangular）

三角测距法是利用投射光源、观测对象和接收图像传感器的空间位置，利用三角几何学计算景深的方法。此方法是众多主动式3D景深视觉系统的底层基础算法。

（2）结构光法（structured light）

结构光法可以认为是针对在被动式视觉系统中特征点匹配问题的对策性方案。如下图 3所示，结构光的含义是主动光源通过特定图案编码投射到被测物体，例如将分布较密集的均匀光栅投影到被测物体上面，由于被测物体表面的不规则性具有的不同深度，反射到图像传感器的光栅条纹会有所变形，这个过程可以看作是由物体表面的深度信息对光栅的条纹进行了调制。通过对比图像传感器接收到的发生畸变的光栅图案和原生图案，就可以解析出每个观测点的深度信息，形成深度点云（point cloud），即深度帧（depth frame）。

需要说明的是，结构光法按投射方式还可分为点、线、面三种方式。按照图案编码方式亦可分为时间编码、空间编码和直接编码（如灰度编码）。这些技术皆为提高编码图案的解调抗干扰性，以及更快获取深度点云而采取的不同技术手段，如下表1所示。目前，在移动终端领域，结构光编码以静态编码为主。

（3）飞行时间法（time of flight）

飞行时间又称TOF，简要来说，是基于测量投射的光源信号发射与接收之间的时间差，计算出景深或距离的一种景深计算方法。

TOF根据如何测量时间差又可细分为脉冲波测距和连续波测距。脉冲波测距原理是直接测量脉冲信号发射和接收的时间差；连续波测距则是通过连续发射整数波长，通过计算接收波与发射波之间的相位差，间接计算时间差，如下图 4所示。

具体来说，脉冲波测距多用于工业测绘领域等大范围远距离场景，其使用的光源也以激光为主。对于手机终端设备而言，由于使用场景和功耗，意味着目标对象与镜头的距离在十米、百米以内，所以手机终端上使用的TOF预计将以连续波相位测距技术为主。

就目前而言，结构光与TOF是主动景深视觉系统的主流技术实现方案。结构光技术较为成熟，组件集成度高，目前苹果iPhone X已采用结构光技术；TOF由于直接测量景深/距离，在响应速度和量程两方面具有先天技术优势，加上Google、Microsoft等国际一流企业的站台背书，技术前景光明。

需要说明的是，主动式3D景深视觉系统在持续发展中开始借鉴被动双目视觉系统的优点，即通过引入2枚图像传感器（active stereo vision），利用图像传感器之间空间位置关系，以及双路光源发射器到图像传感器的光源运动轨迹，达到更高精度的景深信息。例如，Intel最新发布的D400 Series景深摄像模块就是采用该技术的代表。

3D成像和传感市场概况

前文介绍了3D景深成像系统的工作原理。那么，3D成像技术是否存在市场需求？3D成像技术距离全面普及还有多久呢？我们可以从以下几个维度来寻找答案。

（1）VCSEL市场增长情况

VCSEL激光器作为3D景深成像系统的核心部件，在消费电子领域的市场趋势可以间接反映其3D景深市场需求和未来发展情况。如下图5所示，根据Yole预计，随着2017年iPhone X首次引入结构光主动式3D成像系统，VCSEL整体市场将以CAGR 48%的增速飞速增长，在消费电子领域，VCSEL市场大小从2017年的1.65亿美元攀升至2023年的31亿美元，增长幅度接近30倍。

（2）3D成像市场增长情况

据Yole预测，3D成像和传感市场整体增长速度为CAGR 44%，在消费电子领域将会以CAGR 82%的速度高速增长，到2023年达到138亿美元，如下图6所示。

（3）3D景深在终端手机的占有率情况

主动式视觉系统由于其技术先进性，将会逐渐替代被动式双目视觉系统，逐渐被手机终端厂商采用。目前在3D成像领域，根据其结构光和TOF技术的特性，一个较为共识的预测是基于结构光技术的3D成像将作为手机前置摄像头被采用，而TOF技术则将会在后置摄像头更有前景。

目前苹果作为手机终端高新技术的引领者，同时占据3D成像产业链内一级供应商的供货渠道，预计将继续领先安卓手机厂商1-2年时间率先部署3D景深摄像头，如下图7所示。

根据拓墣产业研究院分析，全球智能手机3D感测渗透率今年将从2017年的2.1%上扬至13.1%，苹果仍将是主要采用者。另据其估计，2018年全球搭载3D感测模组的智能手机生产总量将达1.97亿支，其中iPhone占据1.65亿支。此外，2018年的3D感测模组市场产值预估约为51.2亿美元，其中由iPhone贡献的比重高达84.5%。预计至2020年，整体产值将达108.5亿美元，而2018-2020年间的复合年均增长率将达到45.6%

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~