多摄像头原理和应用（手机）

在解释这部分内容前，先了解几个关于摄像的基本概念。
曝光: 光圈、快门和感光度ISO的组合。
其中，光圈和速度联合决定进光量，ISO决定ISOCCD/CMOS的感光速度。如果进光量不够，我们可以开大光圈或者降低快门速度，还是不够的话就提高感光度（ISO）。大光圈的缺点是解像度不如中等光圈，快门速度则图片可能会糊，提高ISO后图片质量会下降。

**HDR：**高动态光照渲染，它将每个曝光瞬间相对应最佳细节的LDR（低动态范围）合成最终的HDR图像；通俗来说就是将同一个画面进行多次曝光，再合成一张图像。

**双摄手机：**学术一点讲，叫立体相机，可以模拟人眼双目视觉原理。
**发展历程：**早在2011年，HTC就推出了首款配置500万像素摄像头机型 G17。但是由于1.500万像素画质过低；缺乏3D应用，让双摄像头成为鸡肋。

双摄手机的两个用途：
1.两个摄像头之间离得比较近。两个摄像头取景范围相差很小，这样两张图片进行融合得时候就不会因为错位产生不良的影响，可以利用两个摄像头不同的曝光和色彩信息进行融合，展示更真实地色彩，更丰富的细节，从而大幅提升成像质量。
用来做夜景/暗光拍照增强、增加动态范围等应用。
2.两个摄像头之间离得比较远，得到得两张图之间相差足够大，可以用算法来取得景深信息，然后利用景深来做背景虚化、三维重建、动作识别等。

市面上的双摄技术方案：
目前已经衍生出几种不同得双摄硬件和算法配置解决方案。
**1.彩色相机+彩色相机（RGB+RGB）,主要用于计算景深，**实现背景虚化（为了模拟单反相机的虚化效果，得到拍照场景中每一个像素点距离相机的远近后，通过算法保留对焦平面内景物清晰度）和重对焦（利用计算得到的景深信息，先拍照后对焦）。
典型手机代表:
红米pro：前置采用2000w索尼定制传感器+800w专业景深摄像头
vivo x9：1300万像素后置+500万像素辅助深度相机
但是，需要注意的是，副摄像头标榜为景深相机或辅助深度相机，不是很恰当。它并不是可以直接测量距离，其实只是普通的RGB彩色相机。

2.彩色相机+黑白相机（RGB+Mono）,主要用于提升暗光/夜景影响拍摄质量（黑白镜头的大光圈保证了足够了进光量，让黑暗中画面景物细节轮廓凸显，彩色镜头负责捕捉色彩）。
一般来说，提高暗光拍照质量有三种方法：延长曝光时间、提高ISO感光度、增加光圈。
针对延长曝光时间会带来手抖的问题，于是手机厂商纷纷搬来了光学防抖；
增加ISO感光度则必然会出现早点影响画面纯净度，在手机体积和厚度限制下又不大可能把传感器尺寸放大；手机光圈一般都是固定无法调整的，于是算法工程师想到借助黑白世界的力量。
典型手机代表：360手机奇酷旗舰版、华为荣耀P9。

3.广角镜头+长焦镜头（Wide+Tele），主要用于光学变焦。
这种组合的最大优势是光学变焦。但要区分数字变焦。数字变焦和光学变焦有着本质的不同，可以认为数字变焦为“假变焦”，仅仅是一个类似放大的效果，并不能真正的起到变焦的作用，所以数字变焦的结果通常噪声较多，图像模糊。一直以来绝大多数的手机对于变焦的需求，都是通过严重压缩画质的数字变焦完成的。
广角+长焦镜头变焦思路：用两个焦距不同的摄像头搭配，宽视角的广角镜头可以看的很广，但是看不清远处的物体，而窄视角的长焦镜头，虽然看的范围不大，但是看的更远更清晰。在拍照时通过镜头的切换和融合算法能实现相对平滑的变焦。

4.彩色相机+深度相机（RGB+Depth），主要用于三维重建。
顾名思义，深度相机就是直接获取场景中物体距离摄像头物理距离的镜头。根据原理不同，主要有飞行时间（TOF）、结构光、激光扫描几种方式。当获得了深度图后，下一步就是把深度信息融合到普通RGB图像中，这一步因为深度摄像机的低分辨率，导致需要强大的算法来保障。
结构光投射特定的光信息到物体表面后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度信息，进而复原整个三维空间。比如，苹果的iphone x。
目前最多的是使用TOF相机。TOF(time of flight)，其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离。例如微软的kinect、华为的p30。缺点是多重反射会导致过度曝光等、在室外效果不好。

对比图如下：