谷歌拍照黑科技Pixel Visual Core：Pixel 2的图像处理和机器学习

原文：Pixel Visual Core: image processing and machine learning on Pixel 2
翻译：无阻我飞扬

摘要：文章的作者是来自Google的高级工程师Ofer Shacham以及产品管理主管Masumi Reynders。文章介绍了Google Pixel 2的拍照黑科技，即谷歌自己研发的第一款移动芯片，它被称为Pixel Visual Core，以下是译文。

新款Pixel 2手机有一个强大的相机硬件，软件和机器学习（ML）功能,所以你只需要做的就是按下拍摄按钮去拍摄迷人的照片和视频。帮助你拍出好照片的技术之一是HDR+,它使得拍摄出不同亮度背景的好照片成为可能，无论背景是昏暗的场景还是晴朗的天空。

HDR+可以生成美丽的图像，并且我们已经演变出一种算法，它在过去的一年中有效地使用Pixel 2的应用程序处理器，使你能够在后台智能处理HDR+，从而顺序拍摄出多张照片。与此同时，我们也一直致力于硬件能力的开发，从而大大增强计算能力—超越现有的硬件—将HDR+带入到第三方拍摄应用。

为了扩展HDR+的使用范围，处理最具有挑战的图像和机器学习应用，并提供低延迟和更高效的HDR+处理功能，我们创建了Pixel Visual Core。

Pixel Visual Core是Google针对消费类产品的首个定制图像芯片。它被内置于每个Pixel 2手机中，在接下来的几个月里，我们将通过软件更新来启用它，以使更多的应用程序能够使用Pixel 2的相机拍摄出HDR +质量图像。

让我们为Google以外的技术人员深八一下细节：Pixel Visual Core的核心是Google设计的图像处理单元（IPU）—这是从零开始设计的特定领域可编程处理器，以低功耗提供最高性能。它有八个Google设计的定制内核，每个内核具有512个算术逻辑单元（ALU），在移动设备上，ALU每秒能进行超过3万亿次运算。Pixel Visual Core将HDR+计算的速度提升了5倍，与在应用处理器上运行相比，功耗只有1/10 。IPU有这样的能效的一个关键因素是硬件和软件的紧密耦合 – 与传统的处理器相比，IPU用软件控制了硬件的更多细节。这带来了更简洁的设计和更高的能效，但是，这种紧密耦合也让IPU难以用传统的编程语言进行编程。为了避免这种情况，IPU利用定制的语言来减轻开发人员和编译器的负担：用Halide来进行图像处理，用TensorFlow处理机器学习。Google还定制了一个编译器，用来优化底层硬件的代码。

Pixel Visual Core的放大图像

在接下来的几周中，我们将在Android Oreo 8.1（MR1）的开发者预览中启用Pixel Visual Core作为开发者选项。之后，我们将为使用Android Camera API的所有第三方应用程序启用它，让第三方应用程序可以调用Pixel 2的HDR +技术。我们迫不及待地想看到你通过Pixel 2相机拍摄出的美丽的HDR+照片，也希望Pixel2相机成为您最喜爱的摄影应用程序 。