双摄原理转载

  由于双摄技术的快速发展，目前已经衍生出了几种不同的双摄硬件和算法配置解决方案。不同手机厂商可能有不同的双摄配置，比如华为荣耀P9采用的就是黑白相机+彩色相机的硬件配置，而iPhone 7 plus采用的就是广角+长焦的配置。此外，随着技术的演化，同一厂商也可能推出多种不同的配置。比如，华为2014年底推出第一款双摄手机是荣耀6plus，后置两个相同的彩色相机平行排列，2016年推出的年度旗舰产品荣耀P9则是黑白相机+彩色相机的配置。

 因此介绍原理之前，先对目前双摄的配置进行粗糙的分类。双摄手机一般包括一个主摄像头和一个辅助摄像头。根据不同的应用需求和侧重点，目前双摄手机通常有以下几种不同的组合形式：

1、彩色相机 + 彩色相机（RGB + RGB），主要用于计算景深，实现背景虚化和重对焦

2、彩色相机 + 黑白相机（RGB + Mono），主要提升暗光/夜景影像拍摄质量

3、广角镜头 + 长焦镜头（Wide + Tele），主要用于光学变焦

4、彩色相机 + 深度相机（RGB + Depth），主要用于三维重建

以上1、2、3的组合本质上是一种“叠加”。即把两个镜头拍摄的图像叠加融合，来达到提升拍摄质量、背景虚化、光学变焦等功能。这种应用双摄像头拍摄的图像差距越小越好，这样算法进行“叠加”的时候才能更精确。理论上两个摄像头离的越近越好，目前大部分双摄手机都是基于这样的配置，两个镜头之间的基线（两个镜头的间距）很短，一般都是10mm左右。而人类双眼的基线均值是64mm，相比之下目前的双摄手机基线太短，只能计算较近物体的景深（浅景深）。

1、彩色相机 + 彩色相机

单反相机让人为之着迷的一点便是通过调整不同光圈值，拍出如梦似换的背景虚化效果。我们知道，单反相机通过增大镜头光圈可以缩小拍照时的合焦范围。如下图，黑色的小人代表了拍摄的清晰范围，当采用较大光圈时，只有在对焦点附近的小人是清晰的，对焦点前后的小人都被模糊掉了。

为了模拟这种虚化效果，双摄手机利用人眼三角定位原理来计算被摄物体距离摄像头的距离Z。如下图所示。

得到拍照场景中每一个像素点距离相机的远近后，通过算法保留对焦平面内景物清晰度，将其余部分根据其相对于摄像头的远近距离进行模糊处理，就可以模拟出光圈虚化效果。如下所示不同焦距对应不同焦平面。

来一张养眼的背景虚化图片吧：

虽然理论上可行，但实际使用中，要想在不同场景下实现类似于单反一般"焦内锐利，焦外奶油"的效果，让人物主体对焦锐利突出，层次线条分明，还需要强大的算法保障（以后会介绍该领域的算法公司）。

单反相机可以通过调节光圈大小，来改变照片的虚化程度，双摄手机也可模拟单反相机调节光圈。通过重新调用照片中物体的景深信息，可以实现先拍照后对焦的功能，实现之前只有光场相机才能实现的重对焦功能。

如下图是利用双摄手机处理得到的重对焦效果：

典型手机代表：

红米Pro、vivo x9

特别提示：

vivo x9官网的双摄介绍： 前置采用2000W索尼定制传感器 + 800W专业景深摄像头

红米Pro官网的双摄介绍：1300 万像素后置相机 + 500 万像素辅助深度相机

上述两款手机官网介绍中副摄像头标榜为景深相机或辅助深度相机，其实并不恰当。它们并非真的可以单独用来测量距离，其实只是普通的RGB彩色相机。只不过对成像质量贡献很小，主要用于和主摄像头一起提供立体视差从而计算景深。总结一下，景深信息实际是通过主副两个相机的视差共同计算的，单个RGB相机是无法直接得到景深的。所以我个人认为，红米pro和vivo x9在双摄的副摄像头宣传上使用了误导性的不恰当的术语。

2、彩色相机(RGB) + 黑白相机(Mono)

提高暗光拍照质量一般有三种办法：延长曝光时间、提高ISO感光度、增大光圈。延长曝光时间会带来手抖的问题，于是手机厂商纷纷搬来了光学防抖；提高ISO感光度则必然会增加噪点影响画面纯净度，在手机体积和厚度限制下又不大可能再把传感器尺寸放大；手机光圈一般都是固定的无法调整。于是算法工程师们想到了借助黑白世界的力量。

下面参考altek公司的一个简要的技术报告来解释一下该技术的原理。下图是一个简要的算法流程图。

• 黑白和彩色相机拍摄的图像首先要保证图像同步和像素级对齐操作，通俗的说就是要保证两个相机在同一个时刻拍摄同一个场景下的物体，由于两个相机之间有一定的距离，所以拍摄的场景虽然是同一时间，但内容会有移位，所以需要根据两个相机交叠的部分来使得黑白和彩色图片中相同的像素一一对应。这一部分需要用到两个相机事先标定好的数据来做计算。相机标定可以简单的理解为测算两个相机的物理位置关系和相机本身的参数，在此不多做介绍。

• 图像融合部分是可以加开关进行控制的，根据不同应用的需要黑白和彩色图片都可以作为主要的融合参考，也可以分开使用。

下面来看看为什么要把黑白图片和彩色图片进行融合，是否融合后1+1>2?

我们知道自然光是由赤橙黄绿青蓝紫等不同颜色组成的，我们小时候玩的三棱镜就可以看到光的色散。如下图。

我们日常生活中的数码相机，显示器、扫描仪等大部分显示或打印的颜色都是通过红（Red）、绿（Green）、蓝（Blue）三原色按照不同的比例合成的，称为RGB颜色模型。这个比较容易理解。

接下来介绍一个复杂一点概念：拜尔滤色镜。它其实是一种将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列。如下图，入射的自然光经过不同的拜尔滤色镜后就得到了相应的颜色。

其中绿色占一半，红蓝各占四分之一，这样的设置是因为人的眼睛对绿色最敏感。最终每个像素点的颜色信息是经过插值处理得到的。插值的方法有很多种，最简单的一种就是线性插值。比如下图位于九宫格的绿色像素点G，它的RB值是通过周围四格的平均值得到的。

对于红色像素点R或蓝色的B，插值的方法会稍微复杂一些，在此不赘述。

而黑白相机没有拜尔滤色镜，所有的光都入射进来（下图右下角），所以和具有拜尔滤色镜的彩色相机相比可以获得更大的进光量，光学传感器的灵敏度也更高。因此黑白相机相对彩色相机，图像更加明亮，细节信息能够保留的更好。下图左下角是彩色相机的信噪比SNR（全称Signal Noise Ratio，可以理解为有用信息和噪音的比值，越大越好）。右侧是彩色、黑白图像融合后的结果，可以看到，融合后信噪比明显提升了。

综上，由于黑白相机的细节更丰富、信噪比更高等优势，以黑白图像作为基准和彩色图像进行融合后，图像的整体效果会有比较明显的提升（尤其是在暗光环境下）。

下图可以直观的看到黑白+彩色的双摄模式在提升细节方面的效果。下图中间是左边彩色图像和右边黑白图像融合的结果，可以明显的看到，细节更加清晰，图像质量更好。

下图可以直观的看到，黑白+彩色的双摄模式可以显著提高暗光场景下的图像亮度，减少噪点，显示其在夜景拍照上的独特优势。

典型代表手机是：

360手机奇酷旗舰版、华为荣耀P9。

先来看看什么是光学变焦吧。

光学变焦镜头通常是由多组独立的凸/凹透镜组成的，有的透镜是固定的，有的是可以沿光轴前后滑动的。复杂的变焦镜头可以包含多达三十多个独立的透镜以及多个移动部件。

虽然变焦镜头的组成比较复杂，但是可以按照功能划分为两部分：无焦变焦系统（ afocal zoom system）和聚焦透镜（focusing lens）。如下图所示。

变焦的功能主要通过改变无焦变焦系统来实现，它由多个固定的和可移动的透镜组合而成，但是并不进行聚焦，它通过改变光束穿过透镜的位置来达到变焦的目的。以三个镜头为例进行说明。下图中L1，L3是凸透镜，用来汇聚光线，L2是凹透镜，用来发散光线。其中L3是固定的。L1，L2是可以沿着光轴移动的，这种移动非常微小，一般通过齿轮凸轮等传统的机械传动方式实现，或者更高级的私服系统来实现。下图中L2透镜从左向右移动，靠近L3，同时L1透镜先向左移动再向右移动。从图中可以看到这种组合移动的结果放大了透镜组的视场角，从而改变了整个透镜组的焦距。

如果有点蒙圈，参看下面这个简化版的变焦动态图，可能更容易理解。

说到了光学变焦，不得不提一下数字变焦。

数字变焦（digital zoom）和光学变焦（optical zoom）有着本质的不同，可以简单的认为数字变焦为“假变焦”。为什么说它假呢？粗糙的类比一下，数字变焦相当于你把照片放在一个图像编辑软件里，裁掉周围的一部分图像，然后把剩下的一部分放大。所以你看，数字变焦仅仅是一个类似放大的效果，并不能真正的起到变焦作用，所以数字变焦的结果通常噪点较多，图像比较模糊。下图是光学变焦和数字变焦的直观对比：

一直以来绝大多手机对于变焦（或者说远距离拍摄）的需求，都是通过严重压缩画质的数字变焦来完成。因此光学变焦是目前用户对于手机拍照功能的主要诉求点之一。但如前面所述，变焦镜头非常依赖于光学透镜的组合设计，因此想在单摄像头上实现光学变焦对于手机摄像头模组的厚度、复杂度和整体外观设计带来巨大的挑战。限于手机机身厚度，想做出不伸出机身外的变焦摄像头几乎不可能。

但是老话说的好，条条大路通罗马，何必吊死一棵树。单镜头既然不行，用两个镜头是不是可以呢？

双摄像头的理论基础，就是把原本要求纵向空间的光学体系，在横向空间里宽裕的机身平面上铺开。现今手机厚度已经不可逆转的向7mm甚至更薄发展，但横向看机背上与屏幕平行的平面的空间是足够的。说白了，比起把镜头做得不突出机身，在机背上多放几个镜头明显要更容易。

经过相机模组厂商和算法提供商的严苛研发和测试，目前广角+长焦的双摄像头的组合变焦方案逐渐被业界广泛接纳。这其实是一种非常朴素的变焦思路：用两个焦距不同的摄像头搭配，宽视角的广角镜头可以“看”的很广，但是“看”不清远处的物体，而窄视角的长焦镜头虽然“看”的范围不大，但是“看”的更远更清晰。广角和长焦镜头组合搭配，在拍照时通过镜头切换和融合算法就能实现相对平滑的变焦。法子虽然笨点，效果的确不错。高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的假变焦，从而大幅提高手机的变焦性能。该组合方式可以得到较好的光学变焦体验。下图是广角+长焦的融合效果：

典型代表手机是：LG G5、iPhone 7 plus

LG G5后置摄像机有两个，主摄像头1600万像素，视场角78°，f/1.8大光圈，暗光拍照效果比较好；辅摄像头800万像素，具有135°的超广角，这个是LG G5的杀手锏。LG G5的光学变焦方案就是在拍照时切换不同的镜头来实现光学变焦。但是这个135°的镜头已经算是鱼眼的范畴，它拍摄的图像边缘会出现畸变，并且还不是大家印象中鱼眼镜头那种由画面中心到四周均匀的光学性畸变，而是中间大部分画面正常而四周部分跳跃性的出现畸变。如下图所示。

LG G5拍摄图片，跑道可以看出横向上明显的不规则畸变

相比之下，后来者iPhone 7 Plus的配置更为合理。iPhone 7 plus的双摄像头升级是iPhone问世以来在摄像头方面最大的一次飞跃。

其配置如下：

• 广角镜头：1200 万像素，ƒ/1.8 光圈，焦距28毫米

• 长焦镜头：1200 万像素，ƒ/2.8 光圈，焦距56毫米

• 2 倍光学变焦；最高可达 10 倍数码变焦

通常来说焦距在85mm至300mm区域内的才可称为长焦镜头，而iPhone 7 plus的长焦镜头焦距只有56mm，只不过焦距比28毫米的镜头多了一倍，不过苹果也将其称为长焦镜头。

iPhone 7 plus的镜头组合并不像LG G5那样极端，可以避免出现边缘畸变。如下图左边是iPhone 7 plus广角相机拍摄的图片，右边是其长焦相机拍摄的图片：

这种广角+长焦镜头的光学变焦方案有什么问题呢？下面来说一说。

这类双镜头搭配方案的光学变焦，本质和单反相机不同，更准确一点的话，应该称为双焦距。拿单反相机和iPhone 7 plus为例，我们来分析一下它们的2倍光学变焦有什么不同。

单反相机上的2倍光学变焦镜头，是可以实现无级光学变焦的，也就是可以实现1倍到2倍之间所有的焦距。用数学语言来说，就是可以实现[1,2]区间内任意实数倍的光学变焦倍数。这种光学变焦是平滑的。

而iPhone 7 plus的2倍光学变焦，实际是56毫米镜头在28毫米镜头数字变焦达到最远的时候切换到56毫米镜头，接过变焦的任务，这样使用起来就像是整体光学变焦能力提升了一倍。它是无法实现1倍到2倍之间的任意光学变焦的，其光学变焦只能取1和2两个值。这种光学变焦方式并不“平滑”。

那么就有人问了，为什么我使用iPhone 7 plus的时候感觉变焦很平滑啊，溜溜哒。这是因为，苹果公司一向非常注重图像处理算法，所以iPhone系列手机摄像头通常在硬件上不是最先进的，但在拍照效果却一直非常出色。虽然iPhone 7 plus的双摄镜头光学变焦并非真正的平滑变焦，但在其强大的双摄图像处理算法的帮助下，实际使用时还是非常顺畅的，并不会出现变焦挫顿，仍然可以实现比单摄像头好的多的变焦效果和成像质量。

首先来解释一下什么是深度相机吧。

深度相机

顾名思义，深度相机就是可以直接获取场景中物体距离摄像头物理距离的相机。根据原理不同，主要有飞行时间（TOF）、结构光、激光扫描几种方式（注：有些地方将双目立体视觉相机也列为深度相机的一种，它是单纯依靠算法计算得到的深度信息）。目前使用较多的是TOF相机。目前主流的TOF相机厂商有PMD、MESA、Optrima、微软等几家，其中MESA在科研领域使用较多；PMD是唯一在室内/外都能使用的TOF相机厂商，多用于科研、工业等各种场合；Optrima、微软则主要面向家庭、娱乐应用，价位较低。

因为TOF相机使用的较为广泛，在此主要介绍一下TOF相机的原理。

TOF相机

TOF（Time of flight）直译为“飞行时间”。其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度（距离）信息。

TOF组成

TOF相机采用主动光探测，通常包括以下几个部分：

1、照射单元

照射单元需要对光源进行脉冲调制之后再进行发射，调制的光脉冲频率可以高达100MHz。因此，在图像拍摄过程中，光源会打开和关闭几千次。各个光脉冲只有几纳秒的时长。相机的曝光时间参数决定了每次成像的脉冲数。

要实现精确测量，必须精确地控制光脉冲，使其具有完全相同的持续时间、上升时间和下降时间。因为即使很小的只是一纳秒的偏差即可产生高达15 c m的距离测量误差。

如此高的调制频率和精度只有采用精良的LED或激光二极管才能实现。

一般照射光源都是采用人眼不可见的红外光源。

2、光学透镜

用于汇聚反射光线，在光学传感器上成像。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。这样做的目的是抑制非相干光源减少噪声，同时防止感光传感器因外部光线干扰而过度曝光。

3、成像传感器

是TOF的相机的核心。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因此，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。

4、控制单元

相机的电子控制单元触发的光脉冲序列与芯片电子快门的开/闭精确同步。它对传感器电荷执行读出和转换，并将它们引导至分析单元和数据接口。

5、计算单元

计算单元可以记录精确的深度图。深度图通常是灰度图，其中的每个值代表光反射表面和相机之间的距离。为了得到更好的效果，通常会进行数据校准。

TOF测距原理

下面来介绍一个经过高度简化的测距原理。

照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G1，G2）可以把电流导入不同的可以储存电荷(下图S1，S2)的电容里。

相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭芯片上的电子快门。由光脉冲以这种方式产生的电荷S0存储在感光元件上。

然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。现在生成的电荷S1也被存储在感光元件上。

因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。

记光的速度为c，tp为光脉冲的持续时间， S0表示较早的快门收集的电荷， S1表示延迟的快门收集的电荷，那么距离d可以由如下公式计算：

最小的可测量距离是：在较早的快门期间S0中收集了所有的电荷，而在延迟的快门期间S1没有收集到电荷，即S1 = 0。代入公式会得出最小可测量距离d=0。

最大的可测量的距离是：在S1中收集了所有电荷，而在S0中根本没有收集到电荷。然后，该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如，tp = 50 ns，代入上式，得到最大测量距离d = 7.5m。

TOF相机影响因素

影响ToF相机的测量精度的因素如下：

1、多重反射。

距离测量要求光只反射一次。但是镜面或者一些角落会导致光线的多次反射，这会导致测量失真。如果多重反射使得光线完全偏转，则没有反射光线进入相机，从而无法正确测量反射面的距离。反之，如果其他方向的光通过镜面反射进入芯片，则可能会发生过度曝光。见下图。

2、散射光

在镜头内或在镜头后面发生多余反射会出现散射光，如下图所示，散射光会导致图像褪色，对比度下降等不良影响。所以要避免在相机正前方有强烈反光的物体存在。

3、环境光

前面说过，深度相机镜头上会有一个带通滤光片来保证只有与照明光源波长相同的光才能进入，这样可以抑制非相干光源提高信噪比。这种方式确实能够比较有效地过滤掉人造光源，但是，我们常见的日光几乎能够覆盖整个光谱范围，这其中包括和照明光源一样的波长，在某些情况下（如夏天的烈日）这部分光强可以达到很大，会导致感光传感器出现过度曝光。因此相机如果想在这种条件下正常工作，仍然需要额外的保护机制。

4、温度

电子元件的精度受温度的影响。所以当温度波动时会影响电子元件的性能，从而影响到脉冲调制的精度。前面说过一纳秒的脉冲偏差即可产生高达15 c m的距离测量误差，因此相机要做好散热，这样才能保证测量精度。

TOF相机输出

那么TOF相机最后输出的是什么呢？

TOF相机内部每个像素经过上述过程都可以得到一个对应的距离，所有的像素点测量的距离就构成了一幅深度图，如下图所示。左边是原图，右边是对应的深度图。

可以看到深度图其实是一张灰度图，它是一张三维的图：水平垂直坐标对应像素位置，该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的每个像素可以表示空间中一个点的三维坐标，所以深度图中的每个像素也称为体像素（voxel）。

深度信息融合

当我们获得了深度图后，下一步就是要把深度信息融合到普通RGB相机拍摄的彩色图片。这一步并非我们想象的那么容易，需要强大的算法来保障。在此列举两个因素为例进行说明：

1、深度相机的分辨率目前还比较低，一般都是VGA（640 x 480）以下。而现在普通的RGB相机分辨率都已经到千万像素级以上了，是深度相机分辨率的几十倍甚至上百倍。因此需要将低分辨的深度图变成和RGB相机一致的高分辨率，这种“从无到有”的分辨率提升需要利用彩色图中物体的纹理、边界等内容信息，这个过程要想保持细节是比较困难的。

2、深度相机和彩色相机融合时还需要知道两个相机的畸变系数、光学中心、相对旋转/平移量等一系列参数，这就需要对两个相机进行相机标定工作。而深度相机的低分辨率对于相机标定工作也是一个较大的挑战。

TOF Vs 双目视觉

读者可能会有疑问，现在双摄手机上的两个普通的彩色相机不就可以计算深度吗？和这个深度相机测距有何不同？

双目立体视觉测距的原理和人眼类似，通过计算空间中同一个物体在两个相机成像的视差就可以根据如下三角关系计算得到物体离相机的距离：

但是说起来容易，算法实现比较困难，双目立体视觉测距算法的核心就是寻找对应关系。可以理解为给定一个相机拍摄的图片中的任意一个像素点，如何在另外一个相机拍摄的图像中找到和它对应的像素点，这个过程需要特征提取、特征匹配等一系列复杂的算法。但是由于光照变化、光线明暗等外在因素的影响，拍摄的两张图片差别可能比较大，这会对特征匹配算法提出很大的挑战。如下图是在不同光照条件下拍摄的图片：

另外，如果拍摄的物体缺乏纹理和细节（比如拍摄一张白纸）的话，也很难进行特征匹配。这些都对算法的鲁棒性提出了很大的挑战。

虽然TOF相机和双目立体视觉都能实现测距的功能，但是它们还是有很大不同，在此我做了了简单的表格如下：

结构光

简单的说一下结构光测距的方法吧！

结构光技术就是使用提前设计好的具有特殊结构的图案（比如离散光斑、条纹光、编码结构光等），然后将图案投影到三维空间物体表面上，使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。但是，如果物体表面不是平面，那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距离的不同而不同，根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息。

业界比较有名的就是以色列PrimeSense公司的Light Coding的方案，该方案最早被应用于Microsoft的明星产品Kinect上。目前该公司被苹果公司收购，可见苹果公司也将在深度相机领域有所动作。

结构光技术受环境光源影响较大，更适合室内的应用场景，而且帧率较低，所以更适合静态场景或者缓慢变化的场景。其优势就是能够获得较高分辨率的深度图像。

双目视觉 Vs 结构光 Vs TOF

下表是双目立体视觉、结构光、TOF三种可以测量深度（距离）的技术方案综合比较：

（点击看大图）

从上述的对比分析来看，TOF方案具有响应速度快，深度信息精度高，识别距离范围大，不易受环境光线干扰等优势。因此想要在移动端直接实现深度的测量，最有竞争力的就是TOF方案了。

典型手机

典型代表手机：联想Phab 2。

目前可以买到的具备直接深度测量的智能手机只有Google和联想合作的联想Phab 2，2016年11月推出，是全球首款支持Google Project Tango技术的手机，其深度相机采用TOF技术方案，由PMD公司提供。

华硕也宣布将在2017年会推出带深度相机的手机Zenfone  AR，号称是全球首款同时支持Google Project Tango（AR）和Daydream（VR）的手机。

据说iPhone8也将会使用深度相机，果然收购PrimeSense公司是有目的的，我们拭目以待。

深度相机应用

深度相机的应用范围非常广泛：比如未来几年将会迅速商业化的手势识，以及活体人脸识别、空间测距、三维重建、AR(增强现实)等领域。

1、手势识别。

TOF深度相机可以将人脸、身体、手臂、手指从背景中分离，并且这种分割置信度较高，不受自然光变化的影响，同时能够实时性处理，所以这将在智能交互领域大有用武之地。预计最近几年会迅速进入消费级电子产品中。

2、真实的AR游戏体验。

如下图是Phab 2的AR游戏展示。由于在二维图像中融合了实时的深度信息，所以AR游戏的体验比较真实。比如虚拟出来的一只猫，通过实时的空间深度感知，它可以“感受”到空间的相对位置关系，当它走到桌子边缘的时候，会很自然地跳到地面上，这在之前的AR游戏中是难以实现的。

3、三维空间测量。

由于能够实时获得深度信息，所以实现三维空间测量也是顺其自然的。比如在室内装修领域，可以方便的将各种虚拟的家具以真实的尺寸摆放到现实环境中，用户拿着手机就可以体验家居放在室内的360°真实效果，这无疑将是一个令人激动的应用场景。

4、三维扫描/重建。

可以用于三维物体和k建模和机器人视觉导航和定位。比如你看到一座非常喜欢的雕塑，就可以利用手机上的彩色相机+深度相机对它扫描一周，结合相应的算法就可以生成该雕塑的三维模型数据，利用三维打印机就可以方便的打印出一个三维的雕塑复制品出来。

5、更广泛的其他应用。

融入了深度信息的三维影像可以用于活体人脸识别，避免传统二维人脸识别的安全隐患；可以更加方便进行人体三维测量，从而推动虚拟在线试衣行业的发展等。

随着深度测量技术的发展，必然还有出现更多有趣的应用场景。