Super Res Zoom，借助 Pixel 3 增强图像清晰度和细节

文 / 软件工程师 Bartlomiej Wronski 与计算成像团队首席科学家 Peyman Milanfar

长期以来，使用算法（而非镜头）来实现数码变焦一直是移动设备相机饱受诟病的一面。与数码单反相机的光学变焦能力相比，数码变焦图像的质量难以媲美，因此传统观念认为，即便移动设备相机做得再紧凑，拍摄算法再巧妙，也无法取代大型相机的复杂光学器件与拍摄机制。 

而凭借 Pixel 3 的全新 Super Res Zoom 功能，我们正在挑战这一观念。 

与之前任何基于放大单张图像的数码变焦技术不同，Pixel 3 中的 Super Res Zoom 技术更加出色，因为我们将多帧图像直接合并成更高分辨率的图像。此方法能极大增强图像细节，使其与使用许多其他智能手机上的 2 倍光学变焦镜头拍摄的图像旗鼓相当。Super Res Zoom 是指，如果您在按下快门前变焦取景，与不变焦拍摄后处理相比，图像的细节会更多。

2 倍变焦处理：2017 年的 Pixel 2 与 2018 年 Pixel 3 的 Super Res Zoom

数码变焦的挑战

实现数码变焦并非易事，因为出色的算法应当能够从较低分辨率的图像开始，稳步 “重构” 丢失的细节，而一般的数码变焦是通过放大单张图像的一小部分来生成更大的图像。传统上，这是通过线性插值法实现的，此方法尝试重建原始图像中丢失的信息，但会使处理后的图像变得模糊或带有 “塑料” 质感，并缺乏纹理与细节。相比之下，大多数提升单张图像质量的现代方法都采用机器学习（包括我们自己的早期成果 RAISR）。这些方法能够放大一些特定的图像特征，如直边，甚至可以合成某些纹理，但无法恢复自然的高分辨率细节。虽然我们仍使用 RAISR 来提高图像的视觉质量，但所提升的分辨率大部分得益于 Super Res Zoom 的多帧合成方法（至少用于处理 2 到 3 倍的适度变焦倍率）。

滤色镜阵列和去马赛克

重建优质细节尤为困难，因为此时的数码照片已不完整，它们是通过称为去马赛克的过程从部分颜色信息中重建而来。在一般的消费级相机中，相机传感器元件仅用于测量光线的强度，而非直接测量其颜色。为捕捉场景中存在的真实颜色，相机会使用放置在传感器前面的滤色镜阵列，以便每个像素仅测量单一颜色（红色、绿色或蓝色）。这些颜色以拜尔滤色镜模式排列，如下图所示。 

拜尔马赛克滤色镜。传感器每 2x2 像素为一组，捕获由特定颜色过滤的光线，其中两个像素为绿色（因为人眼对绿色更敏感），另外两个为红色与蓝色。这样的规则排列布满整个画面

然后，基于这些部分信息，处理管线的相机必须重建所有像素的真实颜色和全部细节。* 去马赛克过程首先对丢失的颜色信息作出最佳推测，通常会选择临近像素的颜色进行插值，这意味着 RGB 数码图像三分之二的像素实际上是重建而成！ 

去马赛克过程会使用相邻像素重建丢失的颜色信息

最简单的去马赛克可通过取相邻元素的平均值来实现。大多数真正的去马赛克算法都比这更复杂，但由于只能获取部分信息，处理后的图像仍会存有瑕疵及伪像。虽然大尺寸的数码单反相机也存在这种情况，但相较于一般的移动设备相机，它们拥有更大的传感器和镜头，因而可以捕捉更多细节。 

如果您在移动设备上进行缩放变焦，则这种情况会变得更糟糕；然后，算法被迫再次通过临近像素进行插值，以重构更多信息。然而，并非所有信息都会丢失。即使受光学器件所限，移动设备也可通过连拍摄影及融合多张图像来实现超分辨率。

从连拍摄影到多帧超分辨率

虽然单个帧无法提供足够的信息来填充丢失的颜色，但我们可以从连续拍摄的多张图像中获取一些丢失的信息。这种捕捉及合成多张连拍照片的过程称为连拍摄影。成功应用于 Nexus 和 Pixel 手机的 Google HDR+ 算法已利用来自多个帧的信息，使通过手机拍摄的照片达到了用更大的传感器才能达到的质量水平ÿ