Automatic Noise Modeling for Ghost-free HDR Reconstruction 阅读笔记

摘要

动态场景的高动态范围重建需要仔细处理动态对象以防止鬼影(Ghost)。然而，在最近的一篇综述中，Srikantha 等人[2012] 得出结论：“没有什么是最佳的解决方法，需要根据用户的目标的选取来选择不同的解决方法”。我们尝试使用一种新方法来解决该问题，该方法对颜色值的噪声分布进行建模。我们估计不同图像中的一对颜色是对相同辐照度的观察的可能性，并且我们在从可能对应于相同静态场景对象的像素重建辐照度之前使用马尔可夫随机场。通过选择单个低动态范围源图像来处理动态内容，并通过基于单应性的图像对齐支持手持拍摄。对于具有大物体位移的杂乱场景，我们的基于噪声的重建方法比最先进的方法实现了更好的鬼影检测和去除。因此，我们的方法具有广泛的适用性，有助于将领域转向动态场景 HDR 重建的单一方法。

1. 简介

在不引入鬼影的情况下，很难获得动态场景的高动态范围图像 (HDR)。即使使用具有自动包裹曝光的现代相机，输入图像之间的帧间捕获时间也可能足够长，从而导致动态场景图像之间出现明显的物体位移（图 1）。早期的 HDR 研究隐含地假设在获取一组低动态范围 (LDR) 图像期间相机姿势和场景都保持静态 [Burt and Kolczynski 1993; 曼和皮卡德 1995]。当这些技术平均动态场景的图像时，它们会引入鬼影。

文献中通过三种不同的策略解决了去重影问题：1) 在颜色平均之前对齐场景，2) 使用 LDR 集中的一个参考图像执行联合对齐和重建，以及 3) 通过平均值检测具有移动对象的区域并将其图像排除在外。所有这些策略在具有挑战性的现实生活条件下都失败了。在对最先进的去虚影方法进行实验验证后，Srikantha 等人[2012] 得出结论，“没有什么是最佳的解决方法，需要根据用户的目标的选取来选择不同的解决方法”。

1. 场景对齐
   Bogoni [2000]、Kang 等人。[2003]，和齐默等人[2011] 在颜色平均之前使用光流对图像进行密集对齐。尽管光流方法可以校正由相机抖动和移动物体引起的短位移，但它们通常无法估计大位移，并且难以在高度混乱和高度动态的场景中发生遮挡。流量估计是一个活跃的研究领域，具有许多局限性，这些去虚影方法的成功取决于准确流场的可用性。
2. 关节对齐与重建
   森等人。[2012] 执行同时对齐和 HDR 重建。他们的方法定义了一个参考图像，所有其他图像都与该参考图像进行补丁对齐。参考文献中曝光不良的区域使用双向相似函数的适应来填充[Simakov et al。2008]在剩余的输入图像和HDR结果之间。同样，胡等人。[2012] 找到参考图像和剩余图像之间的密集和补丁对应关系，并使用泊松重建混合它们的对齐梯度以获得最终结果。这些方法可以在对象变形足够小的情况下增强运动对象的动态范围，从而可以建立可靠的对应关系，这是优于基于运动检测的方法（包括我们的方法）的优势。然而，由于图像之间噪声分布的差异，可能难以建立对应关系（见图 10）。在这种情况下，无法完成参考图像对象的动态范围。此外，单个参考可能不对应于所需的输出，并且可以使用来自不同图像的部分来合成更好的结果。
3. 运动检测
   大多数 HDR 去重影方法通过检测和排除可能产生重影伪影的图像区域来工作。一般来说，这些方法假设图像已经对齐，并且依赖于测试不同图像中相同像素观察到的颜色是否一致的能力。一致性通过成对辐照度差异等标准进行测试 [Grosch 2006; Silk and Lang 2012]，与背景模型的辐照度差异 [Granados et al. 2008]，距离到强度映射函数 [Gallo 等人。2009; Raman and Chaudhuri 2010]，辐照度估计的方差 [Reinhard et al. 2005；雅各布斯等人。2008]，图像之间的平均比率 [Tomaszewska and Markowski 2010]，与背景模型的距离概率 [Khan et al. 2006；Pedone 和 Heikkila 2008 ¨ ], 与参考图像的相关性 [Menzel and Guthe 2007]，局部图像块的熵差异 [Jacobs et al. 2008]，以及梯度方向之间的差异 [Zhang and Cham 2012]。但是，这些一致性测试中的每一个都需要设置固定阈值，这些阈值不太可能很好地概括为不同相机和曝光设置的噪声属性。

颜色量化和 bin 匹配技术 [Min et al. 2009; Pece and Kautz 2010]，以及测试强度是否随曝光单调增加的技术 [Sidibe et al. 2009 ´ ]，可以看作是处理输入序列中的噪声差异的策略（较短的曝光中噪声较高，较长的曝光中噪声较低）。与其他方法相比，这些不变量具有高特异性但灵敏度较低（第 3 节）。
在秒。如图 3 所示，我们通过实验证明我们的方法比基于运动检测的最先进方法具有更高的准确度。
我们声称，通过对相机测量的颜色值的噪声分布进行建模，可以显着改善 HDR 去重影。这在以前的工作中很大程度上被忽略了，但提供了一种简单而有原则的方法来解决问题。
在 LDR 集中的不同曝光中，在相同像素位置观察到颜色。为了测试两种颜色是否对应于相同的辐照度（因此对应于相同的物体），我们必须考虑它们的噪声分布。噪声分布取决于相机和曝光设置，并且可以使用高斯分布建模。分布方差与光强度成正比，与曝光时间的平方成反比，并取决于相机参数，例如增益因子和读出噪声参数（第 2.1 节）。
鉴于噪声取决于场景辐照度和相机参数，因此无法可靠地设置固定阈值来检测相机模型和场景之间的图像差异。根据这一观察，我们估计相机增益因子以预测输入图像的噪声分布，并使用它来标准化颜色一致性测试（第 2.2 节）。这种新颖的噪声建模方法提高了重影检测的辨别力。

图 2：HDR 重建的一维图示。可以通过对从输入图像中相应像素位置的颜色得出的辐照度估计进行平均来重建 HDR 图像。每当平均值中包含不一致的颜色集时，就会出现重影伪影。HDR 去重影的问题可以定义为为每个像素选择一致的颜色子集。

一般来说，可以有多个与一组输入图像一致的无重影 HDR 图像。其中，我们选择最终的 HDR 图像，使得每个像素颜色 1) 从一组一致的输入图像（动态对象为单个图像）重建，2) 具有高信噪比 (SNR)，以及 3 ) 在空间上与其他源图像中的邻居兼容（第 2.3 节）。

总之，据我们所知，我们的算法是第一个处理具有强杂波和动态的场景而不会引入重影伪影的 HDR 重建方法。这在非常具有挑战性的场景中得到了证明，包括具有大小物体位移和低光拍摄的拥挤场所。所有这些场景都是用固定参数计算的。此外，我们的算法与仅具有小物体位移的图像集的最先进方法的性能相当。因此，我们的方法具有广泛的适用性，有助于将领域转向动态场景 HDR 重建的单一方法。我们论文的贡献是：

1. 一种从任意图像估计相机增益因子的新颖而简单的方法。这使得图像噪声范围的自动预测成为可能。
2. 第一个全自动利用相机噪声模型在不同相机和场景中执行可靠的无重影重建的 HDR 成像方法。

2. HDR去鬼影方法

我们的算法输入是使用静态或手