比较给你看!Pixel 3做出数字变焦与拟光学变焦的差距

网络大厂新发表的智能型手机Pixel 3，其中令人惊艳的特色之一便是其相机，能以数字变焦而非光学变焦的方式放大相片，同时还能维持一定的影像质量，网络大厂解释Pixel 3使用的超级分辨率放大（Super Res Zoom）技术，是以多张影像合并以获得更高分辨率的图像，以达到相当于其他手机使用两倍光学变焦镜头的结果。Pixel 2相机的2倍数位变焦及Pixel 3相机采用Super Res Zoom的影像比较：

数字变焦有其限制，必须要靠算法来重建缺失的画素，传统上会以各种内插法算，猜出原始图像中缺少的讯息，但这些方法会因为缺乏纹理或是细节，而让图像产生模糊会是塑料感。现代多数的单一图像升频器（Upscaler）都会使用机器学习来重建图像的细节，像是网络大厂的RAISR，就能强化直边等某些特定纹理，但是仍然无法恢复自然的高分辨率细节。网络大厂提到，重建照片精细的细节非常困难，因为数字照片的信息本身就已经不够完整了，数字照片是经过称为去马赛克（Demosaicing）程序从部份颜色信息中重建出来的。典型的消费型数字相机其感测组件并非直接测量光的颜色，而是测量光的强度，而为了捕捉场景的真实颜色，相机会在传感器前面放置彩色滤光片数组（Color Filter Array），并为每个像素测量光三原色红绿蓝其中一种颜色，这些像素颜色会以拜耳模式（Bayer Pattern ）排列。

数字相机的处理工作管线会依照这些有限的信息，重建出真实颜色和所有像素细节。也就是说，其实数字照片中的三分之二的颜色信息都是重建出来的，由颜色插值进行去马赛克，对缺少的像素颜色信息做最佳猜测。由于缺少的像素讯息由相邻画素猜测而来，因此结果多会有缺陷或是伪像假影，虽然这种情况也会在DSLR上发生，但是由于其较大的传感器以及镜头，因此能比行动装置相机捕捉到更多的细节。

为了解决这个问题，网络大厂的Super Res Zoom技术，会连续拍摄多张照片，来弥补缺失的颜色信息合成出更高分辨率的照片。连续拍摄并合成多张图像为最终图像的技术称为Burst Photography，过去在Nexus和Pixel手机相机上，网络大厂已经应用HDR算法来仿真出大感测组件相机拍出的照片，而在Pixel 3中，网络大厂用这项技术提高图片分辨率。而类似的想法早在智能型手机出现前十年就已经存在了，只是都应用在天文成像或是固定式望远镜等这类镜头位移严格受控的设备上。这个称为多帧超高分辨率的一般作法，是要将低分辨率连拍的图像合成到更高分辨率的网格上。网络大厂举例，当相机同时拍摄了4帧画面，其中三帧分别在水平、垂直，还有水平与垂直同时位移一个像素，组合这4帧画面后根本不需要进行去马赛克，因为所有画素都会被填满。事实上有部分的DSLR支持这样的技术，但相机必须摆在三脚架上。

要把这个拍照位移需要严格控制对齐的技术摆到手机上，无疑会有许多障碍以及无法实现的地方，网络大厂提到，他们第一个要改进的地方便是镜头，镜头的分辨率必须要比传感器还要好，否则最终相片仍然会有许多锯齿产生。第二个便是要开发适用于手震的算法，在DSLR或是过去其他应用中，拍摄多张存在位移的照片，必须透过传感器和光学组件的物理移动，但这部分手部晃动反而帮上忙，让事情变得比较简单。手机相机中的光学影像稳定系统（OIS）可以抵销一些较大的相机震动，1/30秒连续帧可以容忍5到20像素，而小幅度自然手震问题，则可以使用高解度传感器来解决，最后连续拍摄的画面位移会只剩几个画素。而当Pixel 3手机固定时，装置也会以强制晃动光学影像稳定系统来取得连续位移照片。

但需要解决的问题并不只如此，网络大厂说这也是这项技术没被广泛应用的原因，首先，即使在良好照明条件下，单张连拍的相片仍然可能有噪声，而且连拍进行中，场景可能会有复杂的动作发生，像是风吹过树叶或是火焰闪烁等状况，这将影响连续照片的对齐。另外，由于手震是随机的，这可能造成画面中部分区域的信息较密集，其他的则较稀疏。针对噪声问题，网络大厂透过分析输入连续画面以及调整组合方式，让像素合并的方向沿着明显边缘的方向，而非交错过这些边缘，以换取更好的细节以及噪声抑制。而且为了有效处理复杂的局部运动，网络大厂发展了强健的模型，以侦测并减少对齐错误。系统会选择连续画面的其中一帧作为参考图像，并只有在找到正确相对应特征时，才将其他画面的信息整合到参考图像中，如此便能预防重影或是模糊的现象发生。过去认为行动装置上以算法运作的数字变焦，与DSLR相机的光学变焦拍摄出来的相片无法相比，也认为复杂的光学以及大型相机的机械系统，是行动装置上即便是再聪明的算法都无法取代的，不过，Pixel 3上使用了Super Res Zoom技术以提高相片质量，正在慢慢颠覆人们对行动装置相机的想象。

转载于:https://my.oschina.net/u/3695307/blog/2993570