谷歌HDR+研读（四）

5基于示例的自动曝光
 

在下文中，我们将详细介绍基于示例的自动曝光方法的实现细节。虽然这种处理方式应该对执行自己的自动曝光算法的人有兴趣，但我们的经验是，我们数据库中大约5,000个场景的标签质量和场景的多样性决定了这些工程决策。而且，我们使用的场景描述符的细节很大程度上受到对效率的关注。

 曝光标签 我们用两次曝光来标记我们的自动曝光数据库中的每个场景，短时间曝光高光和长时间曝光阴影，手调整以使用我们的曝光融合变体产生最令人愉快的色调映射结果[Mertens et al 。 2007年]。为了表示这些曝光，我们使用两个相应的伽玛校正图像的平均像素亮度，其作为曝光融合的输入。以这种方式表示曝光有助于将我们的标签与绝对场景亮度或相机的灵敏度分离。作为一种改进，我们计算两次曝光的平均像素亮度。对于短时间曝光，我们使用L2规范（强调高亮度）;对于长时间曝光，我们使用L0.5规范（强调阴影）。

场景描述 给定一个原始取景器框架作为输入，我们计算一个场景描述符并使用它来在我们的自动曝光数据库中找到最相似的场景。我们使用的描述符编码暴露决定所需的基本信息，但也有足够的表达力来帮助区分场景类别。尽管我们的描述符比用于场景识别的计算机视觉中的典型描述符更简单，例如[Oliva和Torralba 2001]，但它在我们的系统中起着类似的作用。

请注意，消费自动曝光的原始帧会产生比使用色调映射的ISP处理帧更有用的描述符。对于移动设备上的相对广角相机而言，由于渐晕，角落处的像素值通常比中心处的像素值低2 f-stop。此外，由于绿色通道是最敏感的，红色和蓝色通道值通常比绿色值低1 f-stop。为了充分利用这种额外的动态范围，我们的自动曝光方法在应用白平衡增益，镜头阴影校正等时保持像素值不变。在正常的成像流水线中，这种方法是不可接受的，因为它会导致错误的颜色在突出显示中转移（通常转向粉红色）。然而，在自动曝光的情况下，未剪切的信号是有用的。

我们用来构建我们的描述符的核心特征是空间加权图像亮度分布，这是在图像的积极下采样版本（25：1）上计算得出的。在下采样过程中，我们通过多路复用拜耳色彩平面来执行一个简单的去马赛克，对两个绿色通道取平均值。对于我们通常处理的12-13 Mpix输入，此初始下采样对应于缩略图大小的160x120线性RGB图像。

从这个下采样图像开始，我们减去黑色电平并使用ISP建议的白平衡增益，镜头阴影校正和3x3色彩校正矩阵（全部没有限幅）来校正颜色。为了捕获多个空间频率下的信息，我们制作下采样图像的副本，并将低通滤波器应用于副本。从这些空间尺度中的每一个，我们进一步下采样（4：1）并提取两个单通道图像：RGB通道的最大值和平均值。我们还计算空间权重：一个固定的权重来支持图像的中心（3：1，径向衰减），以及一个强大的增强（40：1），其中检测到人脸。总的来说，这个处理产生4个单通道线性40×30图像和相应的权重图。

接下来，我们对这些下采样图像进行归一化处理，以便我们可以在具有不同亮度的场景之间匹配类似形状的图像亮度分布。为此，我们取图像亮度值的对数，计算所有未剪切值的加权平均值，然后减去此平均值。

为了提高效率，我们实施了两项优化：

•我们修改第二个（4：1）下采样操作以输出每个像素的两个亮度值。这可以让我们在保留更高频率亮度信息的同时更积极地进行降采样。像往常一样，我们首先对每个下采样像素的4x4输入像素进行平均。然后我们进行第二遍，将像素分成两组：比平均亮度更亮的那些，以及那些更暗的。最后，我们计算每个组的平均值以及输入样本的哪一部分对应于每个组。这种“分裂像素”表示使我们能够为给定的下采样级别生成更高质量的描述符。

•我们使用64个分位数来表示每个下采样图像的加权亮度分布，而不是典型的直方图。分位数包含足够的信息来描述场景，但更加紧凑地存储信息。对于长时间曝光情况，一组中的每个分位数表示加权像素的1/64。然而，在短曝光情况下，代表亮点的前8个分位数对应于更少的加权像素（大约1/512）。这具有双重效果，即为精彩部分添加精确度，并为我们的距离度量指定更多权重。

我们最终的自动曝光描述符是一个256元素矢量，通过将4个下采样图像中的每一个的64个分位数连接起来而形成。

距离度量。为了将输入图像匹配到我们的自动曝光数据库，我们使用描述符之间的L1距离。因为我们的描述符是从分位数建立的，这对应于地球移动者的距离[Cohen和Guibas 1997]总结了4个基本亮度分布。在我们的实施中，我们在5,000个场景的数据库中详尽搜索，录制从输入到每个标记示例的L1距离。

需要额外注意处理剪裁的输入像素。由于我们标记的示例是从传统的HDR曝光包围构建的，因此除了