ToF技术的应用及产业链简述----​ToF技术系列（一）

作者||技述无忌
原文地址：https://mp.weixin.qq.com/s/FWQp9OPggUlsNviDPS3oAA(https://developer.orbbec.com.cn/forum.html)
✨如果觉得文章内容不错，别忘了三连支持下哦😘~

1. ToF概述

2020年3月18日苹果发布了新的 iPad Pro，搭载 3D dToF 技术(苹果称为 LiDAR)，可在纳秒的极短时间内测量室内或室外环境中从最远五米处反射回来的光子，完成对环境3D数据的采集。iPhone 12 系列手机也有望采用 3D TOF 技术；2021年3月，传感器解决方案提供商艾迈斯半导体，发布了业内首个应用于安卓系统中的3D dToF解决方案，据了解，该方案为艾迈斯半导体与虹软共同打造，集成了ams的3D光学传感器和ArcSoft成像软件，可以实现沉浸感更强的增强现实功能，这将进一步推动手机端AR游戏的普及发展。预计AMS的3D DToF sensor在年底可以达成量产。进一步推动了ToF相关技术的落地。
ToF技术是飞行时间技术的缩写；其原理是：传感器发出经调制的脉冲红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息；TOF 技术的优点:
(1) 软件复杂性低，设计与应用简单；
(2) 在暗光与强光环境下表现不错；
(3) 功耗不高；
(4) 有较远的探测距离；
ToF根据发射光源的调制方式，可以分为IToF和DToF两类， IToF是通过间接计算发射光与接收光波的相位差从而获取距离的方式，其向下细分可分为CW-IToF和PM-IToF；CW-IToF是基于正弦波调制，而PM-IToF基于方波进行调制，但都是基于相位测量获取深度信息的方式；而对于DToF则是由光源发射脉冲波，照射到物体上反射返回接收端，通过记录这个过程中光脉冲飞行的时间，再根据飞行时间计算场景深度信息的一种技术。

ToF技术在近些年发展比较迅速，下图主要在消费电子领域梳理了ToF的应用进程。2020年是3D DToF正式进行消费电子行业应用的元年。

图1：ToF的发展历程（来源于：互联网）

2.ToF产业链简介

ToF产品由ToF sensor、镜头、光源、diffuser、窄带滤光片、ToF算力芯片组成；算力芯片与其它产品通用的SoC共用上下游资源。

图2：三星、华为、苹果供应链（来源于：互联网）
主要的供应链厂家：

国内ToF芯片主要厂家

3. ToF应用场景

• AR 室内设计。2020 款 iPad Pro 使用了 dToF LiDAR 技术，通过这一技术可以获得 3D 空
  间的深度信息，建立详细的室内环境空间数据，模拟出摆放了新家具后的情况。宜家的 IKE A P lac e 应用，利用 AR
  让家居产品的外观和在家中的摆放效果直接呈现在用户眼前。
  
• 医疗学习。Complete Anatomy 是一款教医学院学生通过虚拟技术了解心脏、实时肌肉 运动、神经系统等人体结构的软件，在 2020 款 iPad Pro 上可以使用这一软件，它将帮 助专业人士更准确的评估病人的身体运动情况，为未来医学发展带来更多可能性。

• 拍照虚化。ToF 具备更好的景深信息采集功能，加入智能手机后摄模组后，能够实现快 速、远距离获取更高精度的深度图(depth map)，从而完成较结构光范围更大的 3D 建 模，而且由于自带红外光源，其在暗光环境下获得的景深信息同样准确。因此，有 TOF摄像头参与的成像在虚化效果上会更加真实，富有层次。华为 2019 年发布的旗舰机 P30 Pro 在后臵 3D 成像与感知模组中加入ToF 镜头辅助，ToF 镜头获取的更多景深信息加强 背景虚化功能，相比双目视觉更加精准，使得得到的图像虚化边缘更加清晰、更具表现力
  

• 手势识别。目前不少手机具备的悬浮手势识别功能，不用直接接触手机屏幕，仅借由前 臵 ToF 的对手势的 3D感知，通过如在手机前挥挥手这样简单的操作来实现翻页、滚屏 等普通操作。体感游戏相比前者更具交互性，通过 TOF 技术能够采集到被拍摄人的身体 深度信息，捕捉和采集身体的动作，进行手势判定，控制预制的 3D 建模人偶的形象和 动作，实现真人和 3D 虚拟形象跟随，用身体、动作和手势做游戏交互
  

• AR 测量:LiDAR 可以快速计算人的身高，并展现垂直和边缘引导线。通过开发者开发的 app 可实现对物体尺寸、建筑物更精细的测量。

• AR 游戏:LiDAR 通过对周围真实环境的扫描和快速获得深度信息能力，为 AR 游戏开辟 了更广阔的设计空间。如官网展示的《炽热熔岩 (Hot Lava)》电子游戏，可以把客厅变 成一个虚拟的熔岩环境，游戏中的玩家可以跳到家具上以此来避开模拟中的地板熔岩。iPad Pro上市后带动开发者不断丰富 iOS 平台上 AR 游戏内容，也使一些原有的 AR 游戏 因为玩法升级而更具有生命力。
  

• AR 装修:iOS 上的 Shapr3D app，借助 LiDAR 对房间进行扫描创建 3D 模型，用户可以对该模型展开编辑或添加新对象，使用 AR 可以查看实际房间在编辑后的虚拟效果，帮 助用户在装修动工前更真切体验设计效果。宜家 Place应用同样可以通过扫描一个房间 获得与之匹配的家具推荐，然后使用 AR 查看家具摆放效果。
  

• 3D场景建模：通过扫描3D数据进行场景的三维重建
  

• 智能手机：智能手机的下一阶段发展重点方向之一是3D感知摄像头。3D感知相机带来立体视觉，增加了脸部解锁、支付、测距等功能，提高安全性和效率。苹果在 2017 年开创了前置 3D 深度相机的先例，各大手机厂商不断尝试后置 3D 相机的应用，苹果新款 iPad Pro 正加速后置 3D 相机的推进。
  

• 无人驾驶：ToF 技术不仅可以用在手机上，还可以用在汽车上。采用了ToF技术的倒车系统可同时侦测多个不同距离障碍物，当检测到有行人或者障碍物靠近，透过软件处理后，能以影像显影或声音警示距离，进一步辅助驾驶路况。随着自动驾驶技术日益成熟，每辆车配置的车载摄像头数量也呈现上升趋势。尽管全球汽车出货量同比下降，但根据Yole 数据，2018 年平均每辆汽车搭载 1.7 个摄像头，2023 年将增加至3个；TSR预计全球车载摄像头总出货量将由2018年的1.09亿颗增加至 2021 年的1.42亿颗，对应2019-2021年CAGR为6.9%。
  

• 智能家居：ToF在智能家居的应用，除了前述单点距离检测的避障应用（以及如应用于智能门锁的距离检测，实现使用体验加强）以外，对于家用智能机器人或者更多智能设备的环境感知和理解，3D ToF技术都有发挥的空间。这部分市场仍在起步阶段，就机器人的3D环境感知能力来看，它在工业领域的应用或许会更早起步。

• 扫地机器人：ToF在扫地机器人中用于机器人的导航、构建地图、避障；近年扫地机器人随着市场增长较快。

4.ToF实施中的重点与难点

在ToF技术的全套实施方案中，还需要克服许多方法本身可能存在的一些缺陷。包括系统深度误差、户外强光场景产生的深度数据噪声、场景拍摄对象的运动模糊、多径干扰、对象边缘模糊等。

• 多径效应（Multipath Effects）：某些情况下，通过不同的反射路径，入射光可能会抵达图像传感器同一个像素。也就是说一个像素内的信号，实际上来自多个场景中的反射来源，场景对象具备高反射率的时候这个问题会格外严重。
• 对象边缘模糊（FlyingPixels）：在立体角中，单个像素产生自不同距离的对象，就会产生所谓的flyingpixels。这种情况一般发生在对象边缘位置，那么这种flying pixel像素的深度信息本质上是前景与后景不同对象的距离合成在一起的。
• 运动伪像：和传统成像技术一样，当场景中的被观察对象以较快的速度移动（或摄像头本身就不稳定）时，成像就会产生运动伪像，且运动速度越快，错误就越大。
• 强度相关错误：场景中某个对象的不同区域有不同的明亮色彩时，可能造成错误。比如说国际象棋棋盘这种黑白格相间的对象，测量得到黑色方格的距离可能比白色方格更近。
• 解调错误：在针对ToF原理的深度计算中，实际上都默认了完美的情况。但实际状况会比较复杂，包括了场景对象的光散射；场景中对象材质反射率较低会造成像素欠饱和，以及较低的信噪比；镜面对象则反射几乎所有能量，又会令像素过饱和，则令深度数据几乎不可用。

版权声明：本文仅做学术分享，版权归原作者所有，若涉及侵权内容请联系删文

3D视觉开发者社区是由奥比中光给所有开发者打造的分享与交流平台，旨在将3D视觉技术开放给开发者。平台为开发者提供3D视觉领域免费课程、奥比中光独家资源与专业技术支持。点击加入3D视觉开发者社区，和开发者们一起讨论分享吧~

也可移步微信关注官方公众号 3D视觉开发者社区 ，获取更多干货知识哦！