计算机视觉方向简介 | 智能手机中的3D ToF技术

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

作为智能手机的三大创新之一，3D ToF深度传感技术依靠体积小、误差低、直接输出深度数据与抗干扰性强等优势，成为近年来智能手机上的关键创新亮点之一。

ToF技术解码

ToF是Time of Flight的缩写，又称飞行时间法3D成像。这种成像技术通过向目标发射连续的特定波长的红外光线脉冲，通过特定传感器接收待测物体传回的光信号，计算光线往返的飞行时间或相位差得到待测物体的3D深度信息，ToF相机的亮度图像可以通过模型迅速连接起来。

相比3D深度视觉其它两种方案（结构光与双目立体成像技术）而言， ToF方案在实际应用中的优势显著。例如：在画面拍摄后计算景深时不需要进行后处理，既可避免延迟又可节省采用强大后处理系统带来的相关成本；ToF测距规模弹性大，大多数情况下只需改变光源强度、光学视野以及发射器脉冲频率即可完成；由于具有不易受外界光干扰、体积小巧、响应速度快以及识别精度高等多重优势，使得ToF无论是在移动端还是车载等应用领域日渐成为3D视觉的首选技术方案。目前，ToF技术应用领域广泛，包括：

消费电子：虚拟现实、人脸识别、体感交互等

新零售：手势识别、客流统计、行为识别等

智能安防：人脸识别、行为分析等

工业级自动化：自动避障、测量测距、感知定位等

医疗电子：增强现实、远程交互等

汽车电子：辅助驾驶、人脸识别、手势识别等

TOF测量原理 

TOF飞行时间，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

发射的红外光线被被测物体反射后回到传感器，内置的计时器记录其来回时间，然后即可计算出其距离。听起来好像和大家玩烂了的超声波测距没啥不同。但其实不然，超声波测距对反射物体要求比较高，面积小的物体，如线、锥形物体就基本测不到，而TOF红外测距完全可克服此问题，同时TOF测距精度高，测距远，响应快。

这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。

ToF的原理是通过光子的反射测距。传统上是红外测距，但红外测距没有计算时间差的能力，主要靠测光强，但打在黑色、白色等颜色物体上，由于材料本身的吸收度不同，也会影响测距效果，因此ST的FlightSense采用计算发射和返回的光子时间差，即计算飞行时间(ToF)方案。另外在集成度上，ST的方案是发射和接收都做在一起，而红外测距往往是分立方案。

	第一代 VL6180X	第二代 VL53L0X	第三代 VL53L1X
测距	40cm	2m	4m
激光器	850nm	940nm	940nm
视场角	25°	25°	27°
环境光感测	有	无	无
测距精度	±10mm	±3%	±1%

市面上有多家公司采用ToF方法，但主要采用相位测距法，主要用于工业，原理是脉冲计算法，但在波谷的能量就不测量了，会造成能量损失。

为何ST方案的测距角度都是25°?因手机镜头弧度是25°左右，所以市面上的产品往往是25~30°视角。FlightSense二代之所以是2米测距，因手机拍摄的理想距离是1.2~1.5米。

市面上有多家公司采用ToF方法，但主要采用相位测距法，主要用于工业，原理是脉冲计算法，但在波谷的能量就不测量了，会造成能量损失。

飞行时间(ToF)传感系统是最有盈利空间的创新成像技术之一。市场上的主要消费类产品制造商都希望在各种智能硬件中集成飞行时间(ToF)测距，以提供3D成像、接近感应、环境光感测、手势识别等功能。

意法半导体在飞行时间(ToF)传感方面潜心研究，而iPhone 7 Plus中的飞行时间(ToF)测距传感器是意法半导体为苹果公司定制的产品。

这款为苹果定制的产品位于iPhone手机前面、主扬声器上方，采用光学栅格阵列(LGA)封装形式，尺寸为2.8mm x 2.40mm，小于意法半导体对外公开销售的任一款ToF传感器。

苹果iPhone 7 Plus拆解

ToF究竟是未来趋势还是厂商套路

既然 TOF 的历史已经如此悠久，为啥近一年才成为消费电子的热词呢?

因为概念出现了混淆，如今热议的 TOF 技术其实应该叫 TOF 3D 技术，属于 3D 视觉技术的一种，目标是和 2D 相机配合建立物体和空间的立体模型，而之前的 TOF 只是点光源，只是用于测量前方物体距离有多远而已，无论从实现目标还是复杂度来说都不能相提并论。

此外，有关 TOF 3D 的基本原理还是要再简单讲一下，首先通过红外光源，打出超短的脉冲信号，形态是面光，要求覆盖整个视场范围，然后通过红外相机接收反射信号，在成像的同时也获得了空间内每个点收发信号的时间差，最后通过光速计算出距离，就能搞定视场内整个空间的 3D 轮廓。

当然，理论都是很美好的，否则没人会愿意推进它们的实用化，尤其对大家伙们来说，如今的产品做到了什么程度才是关键。

好在这件事分析起来不难，因为目前主流市场上用 TOF 3D 的产品也就三款，一个“前置”是 vivo NEX双屏版，两个后置，OPPO R17 Pro 和华为荣耀 V20。接下来我们逐个分析。

vivo NEX 双屏版官方说的很明确，TOF 就是拿来搞面部识别用的，和结构光一个玩法。模组上的合作伙伴是艾德诺半导体(ADI)，型号是 ADDI9036，镜头光圈 f/1.3，再就没有其他的公开资料。不过从 ADI 以往展出的产品来看，最近的是 ADDI9033，用于工业机械臂，sensor 分辨率是 VGA(640*480) 水准，这样可以推知 9036 应该是 9033 的衍生版本。

其中值得一提的是，对于前置面部识别来说，行业内主流的选择是结构光，原因各家有多次科普，这里就简单提一下，即在正常使用距离(0.2-1.2m)，结构光的深度精度明显比 TOF 更有优势，TOF 则需要更远一些才能发挥。这很好理解，毕竟距离太近的话，精度需求也更细微，信号来回时间太短，甚至接近于信号本身的脉冲长度，算起来误差就会很大，而距离变长的话，结构光实际有效的采集点会变少，单个斑点面积会变大，精度当然也会有明显的损失。不过从实际产品来看，vivo NEX 至少接入了支付宝的面容支付，说明安全性上用起来并没啥问题。

而在构造上，从实际产品来看，TOF 面部和结构光都是 3 个必需元器件，但不同在于，结构光需要点阵投影器和红外相机拉开一定的距离，因此它们在所有产品上都是分居左右两侧的，而 TOF 没这种需求，因而相对来说堆叠比较简单。

至于 vivo 官方所宣称的“TOF 精度是结构光的 10 倍”，则应该是指其 sensor 的 VGA 分辨率，640*480=307200 正好 30 万像素，是结构光 3 万个点阵的“10 倍”。不过这很显然是偷换概念，毕竟结构光的点阵和 sensor 的分辨率并不能混为一谈，真要论起来，结构光阵营最低端的 OV9282 都有 100 万像素，数量碾压 TOF，而高端 TOF sensor 用的 IMX456QL，单像素尺寸 10μm，反过来又碾压了结构光普遍的 3μm，你说这事该咋整?🤷‍♂️ 况且，作为 3D 视觉技术，更重要的还是在于深度的精度，无论 TOF 的分辨率还是结构光的点阵数量，都属于 2D 平面的概念，比来比去也没啥意思。

综上，“前置”用于面部识别的 TOF，实际用起来不会好于结构光。

该轮到后置这两位，R17 Pro 和 V20 其实没有本质区别，sensor 都是同款，索尼 IMX316，公开资料也很少，索尼对此一言不发。

找遍全网，只有一个国外设备商有所提及 http://www.dynaoptics.com/time-of-flight.html ，具体见下，IMX316 被称为“轻 TOF”，也就是入(最)门(低)级(端)。

需要补充的是，上面的表格数据有些偏差，比如索尼已经公布的 IMX456QL，是 1/2 英寸 10μm，30 万像素，和表格上 1/3 英寸不同。不过 IMX316 的参数还是和网络上流传的吻合，1/6 英寸，像素只有一种传说是 4.32 万，好吧，是挺惨的。

那么这玩意到底有啥用呢?一是拿来当景深摄像头用，荣耀 V20 就是这么干的，众所周知这活是个摄像头就能干，所以意义不大;R17 Pro 早期有个 TOF 3D 建模功能，围物体转一圈就能建立一个 3D 模型，和华为的小物建模用途差不多，但可能是因为效果过于感人，当初到手试了一下从来没建出过像样的东西，在某次更新之后，OPPO 取消了这个功能，目前只有内置的 AR 测量功能依赖了 TOF 模组，其实现效果和 iPhone 的测距仪大同小异，功能上全面一点点。

因此简单说，就是目前的 IMX316 其实没什么用，或者说很容易替代，没啥存在的必要。考虑到 sensor 的规格，以及这些产品的上市时间，它们的应该也没什么使用潜力，故而可以说后置的 TOF 目前来看没啥存在的必要。

总结一下，目前的 TOF 3D 技术，“前置”体验不超过结构光，后置的存在意义暂时为 0，或许过个半年一年，后置 TOF 会找到用武之地，但也很可能轮不到目前已经上市的 IMX316 们，毕竟规格偏弱。

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~