华为P30Pro手机多摄像头变焦本质 + 拍照原理深度解析 + 单反微单Vs手机

 

          华为P30的发布，引起了大家的强烈关注，尤其是被它的4摄，10倍变焦所震撼到，作为光学人士，决定来研究介绍一下：

          先来介绍一下拍照成像的根本的原理（其实不够根本，再根本就是波动光学了，有兴趣可以留言交流）：

很简单就是：【外界物体发出的或反射的光】经过【镜头】打到【感光元件（传感器）】。如下图，我的精美手绘。

图中 θ 角度的大小， l 代表物距，l' 代表像距，f 代表镜头焦距，D 代表镜头直径，h 代表cmos传感器高度，

其中当 l ，l' 和 f  满足位置共轭关系的时候，就能在传感器上得到物体清晰的像。

初中学过，照相机拍照是得到一个倒立的，缩小的，实像。物体必须在 2f 以外，像在 f 到 2f 之间。

所以我们平时所谓的 “对焦” 没有对好，不是说 焦距  f  没有对好， 而是指 像距 l' 的位置没有在和被拍摄物体共轭的位置，这个在手机中是有一个电机来调节的。

           为什么手机厂商纷纷在手机上增加数量？ 为了提升哪些性能？很重要原因就是想媲美单反或微单。为什么手机的一个【镜头+CMOS】根本无力和单反抗衡呢？ 原理上来解析一下。

作为一个非专业摄影师，拍照最重要的4点：构图、取景、虚实、曝光。下面一个一个看。

构图：和器材基本无关，看个人。

取景：拍摄视场角的大小（放大倍数）

     就是上手绘图中的 θ 角度的大小。

视角小，则这个小的视角内的物体（比如视角内只有月亮）全部打到传感器上，占据所有像素，必然这个物体就看的更清楚，月亮放大倍数大。

视角大，则外界非常大的视角内的物体（视角内除了月亮，还有月亮下的建筑）打到传感器上，必然视角内含有的元素多了，但是月亮只占据了部分像素，所以这时候的月亮必然是没有上面情况的月亮清晰，月亮的放大倍数小。

那视场角是由什么决定呢？

图中有公式，取决于 传感器的大小 h （只讨论一个维度，横向一样）和镜头的焦距 f，

所以：焦距越大，视场越小。 传感器尺寸越小，视场越小。

传感器的尺寸固定的话，那就只有改变镜头的焦距才能改变视场角的大小。也就是常说的长焦（小视场角）或者广角镜头。

虚实：景深的大小

    景深是什么意思，就是我们拍摄物体时候，这个物体前后位置有一定的范围，在这个范围内，相机都能获得清晰的图像。

离开这个范围，得到的像就是模糊的了。这个范围就是景深。利用这个性质，大家就可以拍出人像背景虚化的效果，因为人和背景距镜头距离不一样。聚焦到人身上，景深比较浅的话，背景就模糊了。

 景深和3个因素有关：物距、光圈、焦距

1、被拍摄物体距离镜头越近，景深越浅。（图中的 l ）

2、镜头的光圈越大，景深越浅。（图中的 F = f / D，F叫做F数，光圈是F的倒数，F数越小，光圈越大）

         关于光圈：平时所谓的 光圈 F1.4、F2、 F2.8、 F4  意思是 F数 为1.4、2、 2.8、4，也就是说我们平时用F数来表征光圈大小。F数为什么设计为1.4、2、 2.8、4 ？ 是因为光圈是镜头的直径来表征，长度的平方才表征面积。而1.4、2、 2.8、4是的平方约是2、4、8、16，即为了实现光圈增加一格，通光面积增加2倍。才设计F数为2、4、8、16的开方。

3、镜头焦距越长，景深越浅。（ 图中的 f ）

曝光：得到照片的亮暗程度

     影响曝光总结来说有4个因素：外界光源强度、光圈、曝光时间、感光元件（CMOS或其他）的感光度（感光能力）。

1、外界光源强度不必多说，所以人们会用到闪光灯。

2、光圈大，即通光孔径大，通过的光线多，那么照片必然更亮。

3、曝光时间 t ，就是快门的时间，时间越长，自然达到感光元件CMOS上的光子数就多，照片更亮。

4、感光元件的感光度，是衡量感光元件对于光的灵敏程度，是感光元件这个芯片本身的性质特点，光线充足的情况下没什么问题。但当光线不足的情况下，感光能力差的话，且想要达到正常的曝光，就会出现很多噪声。噪声来源于感光元件本身，热噪声、散粒噪声等等。当然还有，一般来说，感光元件面积大的话，感受光能力自然就强。

其他：照片颜色、安全快门（不详细）

照片颜色：很重要一点，传感器尺寸大的话能接受更多是光学信息，颜色更真实。

安全快门：曝光时间大于安全快门照片就可能会出现尾影子，就像手抖了一样。一般来说安全快门等于等效焦距的倒数（经验公式，仅参考）。也就是说焦距越大，安全快门越小，照片越容易糊掉。

 

然后，我们看这些参数之间的相互制约关系。单从镜头和感光元件本身的参数。

f  、 h   影响 视场角 即 取景。

f   、 D、  l   影响 景深 即 虚实。

D 、h  、f、t   影响曝光 即 亮暗。

 

单反或者微单，除了 h 不变，其他都能变。而且最要命的是，h 能做到很大，比如 全画幅 。

所以你用单反，只要你有钱买镜头，你就基本上可以拍到任意你想拍的照片。

 

而手机呢 ？ 貌似没有一个参数是可以变的（l 、t  和摄像头无关）。。

然后手机要做的就是能 ：变虚实、变视场角、提升曝光。

 

变虚实：

      手机的镜头的孔径 D 大小：这是肯定无法和单反比较的，大家手机镜头一般也就几毫米，而相机镜头至少也几厘米，所以想通过增加D目前看不太可行，此路暂时不通。

      手机镜头的焦距 f 的大小：等效焦距。这里要重点介绍，拿华为P10举例子，

       标明焦距为27mm，实际上这是等效焦距，而不是镜头的实际焦距。等效焦距的计算：

      等效 指的是视场角的等效，手机当前拍照的视场角的情况下，如果感光元件（底片）大小为全画幅的情况下，对应的焦距。

即   tanθ  = h/(2f)  = h'/(2f') ，h是指全画幅的高，h'是实际手机底片大小，f'是手机实际焦距，f 就是所谓的等效焦距。

      底片大小应该为1/2.3，这样计算华为P10的实际焦距约为 3.7mm。

      手机的实际焦距因为实在很小，所以焦距对景深的影响很小，主要还是看孔径。而孔径D也很小，所以手机上为了实现背景虚化的效果，就只有通过算法上来实现了。

      实现的原理就是先通过某种方法测量出被拍摄的物体距离镜头的距离，然后再根据算法将不同距离的物体进行不同程度的模糊处理，所以手机上，以P10为例的大光圈模式下，模糊和清晰图像的边缘会有衔接不自然的痕迹，因为这种虚化不是光学的虚化，而是后期图像处理实现的。

       双目视觉：前提是要先测量得到物体的深度距离。双摄像头的几乎所有手机的方法就是双目视觉的原理，类似人眼，通过两个摄像头的视差，就能区分出这个物体距离摄像头的远近深度。

        但是能够准计算出的深度范围是有限的，这个范围和两个摄像头的距离有关，实际上最理想的两个摄像头的距离应该是和人两个眼的距离差不多。因为现在两个摄像头的距离比较近，所以只能比较准确计算近距离物体的深度，如图，打开我的华为手机大光圈模式，会有提示。

      TOF（Time of flight）：飞行时间。其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度（距离）信息。当然还有别的多种方法，比如iphoneX结构光照明。

      华为P30Pro就单独安装了一个TOF摄像头，它使用激光的飞行时间(测量到场景中物体的距离)的数据来确认和微调由主相机（超感光）和超宽相机（超广角）即双目视觉生成的初始深度图。有了深度，就能根据设定的光圈大小等效的对图像进行模糊虚化了。

 

变视场角：

        传感器的大小固定，就只能改变焦距 f，其实n年前我就预测，变焦镜头在手机上势在必得，现在还没有实现真正意义上的变焦，包括华为P30Pro也没有。

       下面继续看P10，同时对比同时代的iphone7p，都是双摄，

        P10的两个摄像头的等效焦距都是27mm，也就是说从光学上来讲，并没有实现变焦。实际使用的时候的改变视场角，我推测应该也是“截图”，所谓的数字变焦，还是会损失像素。

         iphone7p的两个摄像头的等效焦距是28mm和56mm的，也就是说它这两个摄像头实际拍摄到的视场角确实是一大一小的，真正的光学变焦。不是截图。是用了两个不同焦距的定焦镜头。但是光学上的焦距只有28mm和56mm这两个焦距，而这之间的其他焦距（也就是1倍到2倍之间的放大倍数）是把两者压缩裁剪合成等，算是算法实现，下面讲P30Pro的时候再详细介绍吧。

        后来的很多摄像头手机，基本上就按照这个思路。

再来对比一下华为P20和P20pro吧，但看变焦就和上面的P10和iphone7p似的,

P20是 两个焦距相同的定焦镜头，不存在光学变焦。

P20Pro是 两个焦距相同的定焦镜头 + 一个不同焦距的定焦镜头，两个焦距之间的焦距也是视场融合技术。

P20为双摄像头设计

主摄像头：12MP（Million  Pixel）1/2.3“RGB传感器，f/1.8 光圈镜头，27mm等效焦距

次摄像头：20Mp 1/2.78“单色传感器，f/1.6光圈镜头，27mm等效焦距

P20 Pro为三摄像头设计

主摄像头：40PM，1/1.73“RGB传感器，采用Quad Bayer结构，f/1.8光圈镜头，等效焦距为27mm

副摄像头：20PM，1/2.78“单色传感器，f/1.6光圈镜头，27mm等效焦距

远摄相机：8PM，1/4.4“RGB传感器，具有80mm等效焦距的f/2.4光圈镜头以及光学防抖

光圈模式默认焦距：55mm

 

再来看P30Pro的四个摄像头（网上很多参数都瞎写，我是外国网站扒出来的，保证应该没错）：

40MP，超感光，等效焦距27mm，F1.6，1/1.7“ RYYB传感器设计，输出为10MP

20MP，超广角，等效焦距16mm，F2.2

8MP，潜望式长焦，等效焦距125mm，F3.4

TOF摄像头

      首先看潜望式长焦的125mm的焦距，这种方式一开始貌似是oppo先用的，为什么要这么用？ 因为手机太薄了。之前说过，照相机成像的原理中一点是像距必须在一倍焦距到两倍焦距之间，但是手机的厚度只有几mm，所以想把几百mm（实际焦距也有将近20mm）的镜头嵌入手机内，手机摄像头肯定要凸出来了。所以非常机智的办法就是改变光路方向，让光不是垂直手机打到传感器上，而是拐弯，平行手机穿梭，这样空间就太大了。如图。

      然后整体看是3个定焦镜头，16mm，27mm，125mm，所谓的5倍光学变焦就是27-125mm这个焦段的，对应的放大倍数1-5倍，1-5倍之间的倍数就不是完全的光学的焦距了，所以说不是像单反变焦镜头那样真正意义上的变焦，而是针对不同倍数进行不同的算法处理。

      实际上，P30Pro，当我们用的放大倍数大于3倍的时候，才会启动125mm的摄像头。也就是说，当我们的放大倍数是1-3倍之间的时候，出来的图像不是光学放大（变焦）的倍数，而是主摄像头拍到图像图像处理后的数字放大的倍数。但是它的数字放大并不是简单的“裁剪”“插值”，我估计应该是像Google Pixel 3 那样的原理实现的超分辨（稍后介绍具体原理）。

     所以看下图放大2倍的时候，只有主摄像头工作，分辨能力好像也没有看出那么惊艳的提升。

      当在5倍的变焦系数下，P30 Pro完全依赖于125mm的相机。但对于3至5倍的中间变焦系数，它同时使用主相机（27mm）和远摄相机（125mm）捕捉图像数据。再进行数据的融合。为了获得最佳的细节，5倍远摄相机在帧中心记录图像数据，并使用来自主相机的细化图像数据填充远摄相机帧边缘的“缺失”图像区域。估计用深度学习算法提高了精细模式和纹理的细节。

      如下图中，3倍变焦的时候，船是从5倍相机那里获得的数据，自然很清晰，但是船的外面是从1倍相机获得的数据，自然相对不那么清晰，所以融合技术就是通过深度学习的算法，把船外的区域也变的更清晰一点。

           

      然后所谓的10 倍混合变焦，首先可以肯定不是光学变焦。但是它的10倍放大的效果确实远好于其他手机的数码10倍变焦。就是在5倍的光学真实图像基础之上，再通过算法提高它的2倍的分辨力。这个原理我推测也是和Google Pixel 3 那样的原理实现的超分辨类似的，这种就不是仅仅算法上实现了，还是在硬件上有所改变。我们先看看Google Pixel 3怎么通过只有一个摄像头实现堪比光学变焦的数字变焦。

      我们先来看看彩色是怎么获得的？

      其实传感器本身并不具备辨别颜色的能力，在每个像素上都加一个不同颜色的滤光片，根据人眼对绿色敏感的原理，绿色的像素是最多的，使得每个颜色都能识别一个颜色。叫做拜耳滤波器。

      但是每个像素只有一个颜色是远远不够的，所以还需要通过后期算法去猜测色（反拜尔算法），最后形成一张完整的彩色照片，因为有2/3实际上是猜测的！所以得到的彩色实际上是伪彩色。而且加入的滤光片过滤掉了大约2/3的光的能量。

      所以单帧图像不能提供足够的信息来重建缺失的色彩，但可以从连续拍摄的多个图像中获取一些缺少的信息。但是连续拍摄的时候，需要滤光片下面的传感器进行微小的移动，这样同一个像素点就能在不同时间置于不同颜色的滤光片下面，同一个像素点就在不同时间分别获取3种颜色的信息。不再有猜测的信息。就可以获得完整的彩色信息。如下图。这个实际上是牺牲时间换取空间的一种方法。拿时间换空间这个思想在很多地方屡试不爽。这样就能得到比一般彩色图像将近3倍的放大效果。

           最后是所谓的50倍数字变焦，这就不多说了，理解成“截图插值”吧。

提升曝光：

      提升曝光，相机能做的就是提升接受光线的数量，提升感知传感器的灵敏度。

      大光圈，在说景深的时候也说过了，主要来来说就是提高镜头的孔径D，但是手机镜头的孔径注定不会太大，至少和单反镜头没法比。

      然后就是从传感器上下功夫了。其中一个很重要的方法就是使用两个摄像头，一个黑白，一个彩色。华为P10, P20就是这样的方案。为什么要黑白的呢？所以如果使用黑白的传感器，获得的光能量（光信息）是彩色的3倍，获得的图像的细节也都是真实的细节，而非彩色。

      所以用两个摄像头，一个黑白负责抓住细节和获得更多进光量，另一个负责颜色处理。

      P20Pro的彩色的主摄像头用RGB传感器，采用Quad Bayer结构，就是四像素合一技术，其实也是类似地使用RGB拜耳的排列，但是在具体像素上却做了调整。它使用四个同色像素排列在一起，形成一个大的像素。虽然是40MP的像素，但是输出10MP的像素。实际上像素数在相机中是很不重要的一个量。我觉得它没有直接在硬件上使用更大像元的传感器，而是用更多的小的像元再后期叠加，这给了算法工程师更大的发挥空间。

      P30Pro主传感器很大：主镜头（27mm的镜头）1/1.7’’ RYYB传感器设计，好像也是索尼很牛逼的芯片，首先说这个传感器尺寸虽然和相机的没法比，但是在手机里面，应该是最大的了，传感器的重要性我就不赘述了。买相机，画幅决定价格。

      特别的是主摄像头使用新的RYYB滤波器安排，而不是RGGB布局。黄色滤光片可以同时接收红光和绿光，因此捕捉的光量是绿色滤光片的两倍。但是肯定会带来问题，采集的G绿色信息少的话，色彩的还原一定会受到影响，所以对色彩的评价不高。但光通量大了，在夜间这种外界光线微弱的时候的优势就凸显出来了。主摄像头也采用了Quad Bayer结构。

 

总结一下：

手机多摄像头拆解开就是：多镜头 + 多传感器 + 算法

多镜头：不同焦距、不同光圈

多传感器：不同尺寸、不同颜色、不同结构

多个小的去对抗单反微单的一个大的。

我想起了一话，特贴切，叫：三个臭皮匠，赛过诸葛亮。

P30Pro是3个定焦，我认为手机上真正的光学连续变焦很快会来。

 

本人水平有限，难免出现疏漏错误，还望大牛们多多指正。