谷歌HDR+研读（二）

谷歌HDR+研读（一）

4对齐框架

在我们的高分辨率流水线中，对齐包括从我们突发的每个交替（非参考）帧到所选参考帧的密集对应。这种通信问题已经得到充分研究，解决方案包括光流[Horn和Schunk 1981;卢卡斯和卡纳德1981]，它在光滑性和亮度恒定性假设下进行迭代优化，最近的技术使用补丁或特征描述符来构建和“密集”稀疏对应[Liu et al。 2011; Brox和Malik 2011]，或者使用图像矫正和直接推理几何和遮挡[Yamaguchi et al。 2014。在计算机视觉文献中，光学流量技术主要通过建立基准的质量来评估[Baker et al。 2011; Menze和Geiger 2015]。因此，大多数技术都会生成高质量的通信信息，但是在提交时，计算成本很高，KITTI光流基准[Menze and Geiger 2015]的前5项技术需要每Mpix 1.7到107分钟在桌面环境中。

不幸的是，我们对速度，内存和功耗的严格限制几乎排除了所有这些技术。但是，由于我们的合并程序（第5节）对于小的和粗略的对齐错误都很强大，我们可以构建一个简单的算法来满足我们的要求。就像视频压缩系统一样[Wiegand et al。 2003]，我们的方法旨在平衡计算成本和通信质量。我们的对齐算法在移动设备上每Mpix 24毫秒运行。我们使用类似于[Lewis 1995]的频域加速度方法以及精心的工程来实现这一性能。

参考帧选择 为了解决由手和场景运动引起的模糊，根据基于原始输入的绿色通道中的梯度的简单度量，我们选择参考帧为突发子集中最锐利的帧。这遵循被称为幸运成像的一般策略[Joshi and Cohen 2010]。为了最小化感知的快门时滞，我们从脉冲串的前3帧中选择参考帧。

处理原始图像 因为我们的输入包含拜耳原始图像，所以对齐会带来特殊的挑战。原始图像的四个颜色平面欠采样，使对齐成为不适合的问题。尽管我们可以对输入进行去马赛克，以估计每个像素的RGB值，但即使在所有突发帧上使用低质量的去马赛克，运行起来也会非常昂贵。我们通过估计位移只能达到2个像素的倍数来绕过这个问题。受此约束的位移具有取代拜耳样品具有重合颜色的便利特性。实际上，我们的方法将欠采样问题推迟到我们的合并阶段，其中由于混叠而引起的图像不匹配被视为与任何其他形式的未对齐相同。我们通过平均2×2块Bayer RGGB样本来实施该策略，以便我们调整降采样的3 Mpix灰度图像而不是12 Mpix原始图像。

分层对齐 为了将替代帧与我们的参考帧对齐，我们在下采样到灰色原始输入的四级高斯金字塔上执行从粗到精的对齐。如图5所示，我们使用来自较粗糙比例的对齐作为初始猜测，为每个金字塔等级生成基于图块的对齐。每个参考图块的对齐方式是最小化以下距离度量的偏移量，以将其与备用图像中的候选图块相关联：

其中T是参考图像的瓦片，I是替代图像的较大搜索区域，p是用于对准的范数（1或2，稍后讨论）的功率，n是瓦片的大小（8或 16，稍后讨论）和（u0，v0）是由金字塔较粗糙层级的瓦片继承的初始对齐。

等式1中的模型暗示了关于脉冲运动的几个假设。 我们假定分段平移，这在贴片接近单个像素时是有限的，但对于较大的贴片可能是一个限制性假设。 通过最小化图像块之间的绝对误差，而不是最大化正常化的互相关，我们不会改变亮度和对比度。 然而，这不是一个缺点，因为相机曝光是固定的，并且照明不可能在我们的突发持续时间内快速改变。