Pixel 3的超分辨变焦技术

本文来自Google AI博客，介绍了传统去除马赛克的方法，以及如何通过多帧画面去除马赛克的原理。但在手机上应用这一技术，需要面对不少挑战。感谢快手图像算法工程师章佳杰的翻译。

文 / Bartlomiej Wronski

译 / 章佳杰

原文：http://ai.googleblog.com/2018/10/see-better-and-further-with-super-res.html

一直以来, 对移动设备上的数码相机来说, 数码变焦 (非光学变焦) 就是一个 "丑小鸭". 相对数码单反的光学变焦能力而言, 移动设备上的数码变焦拍摄的图片质量是无法与单反相机的光学变焦的图片质量相提并论的。传统观点认为, 单反变焦镜头的复杂光学和机械结构有其优越性, 更紧凑的移动设备上的数码相机即使加上聪明的算法也并不能取代之.

有了 Pixel 3 上全新的超分辨变焦 (Super Res Zoom) 技术, 我们正在挑战这一传统观点。

Pixel 3上的超分辨变焦技术优于以前的数码变焦技术是由于它可以直接将多帧图像合成为一张高分辨率图像，而不是像之前的数码变焦技术仅仅基于单张图片的裁剪并放大的策略。这种多帧图像的合成技术可以得到细节大幅提升的结果, 几乎可以与其他智能手机上 2x 光学变焦的结果相媲美。超分辨变焦意味着, 与先按下快门然后裁剪放大相比, 先捏指缩放画面来变焦, 然后按下快门, 你能得到更多的细节。

2x 变焦对比: Pixel 2  vs. Pixel 3 上的超分辨变焦 

数码变焦的难点

数码变焦是一项困难的工作, 因为一个好的算法必须从一个低分辨率的图像出发, 可靠地 "重构" 出丢失的细节。典型的数码变焦是对单张图像的一小部分进行裁剪并放大而得到一张更大的图像。传统算法是用线性插值的方法来完成的，线性插值尝试生成原图中没有的细节, 但是这带来了模糊, 或者称之为 "塑料感", 缺乏细节和纹理。相对而言, 大多数现代的单图放大算法使用了机器学习的手段 (包括我们早先的工作，RAISR)。这些方法能放大特定的图像特征, 比如直线边缘, 甚至可以合成一些纹理, 但是不能恢复出高分辨率的自然细节。虽然我们仍旧在用 RAISR 对图像视觉质量进行增强, 但是分辨率方面的提升 (至少对大多数变焦倍数比如 2-3x), 更多的来自于我们的多帧方法, 超分辨变焦技术。

色彩滤镜阵列与去马赛克

重建精细细节是非常困难的, 因为数码照片本身是不完整的, 一张数码照片实际上是从一部分的颜色信息重建而来的, 这称为去马赛克的过程。在典型的消费级数码相机中, 相机传感器元件仅能记录光的强度, 而不是直接记录颜色。为了捕捉场景中存在的真实颜色, 相机使用放在传感器前面的色彩滤镜阵