Local Edge-Preserving Multiscale Decompositionfor High Dynamic Range Image Tone Mapping

Abstract

提出了一种用于图像边缘保持分解的新型滤波器。它与以前的滤波器的不同之处在于它的局部自适应特性。过滤后的图像在任何地方都包含局部均值，并保留了局部显着边缘。我们的过滤结果与其他三种方法的结果进行了比较。还对滤波器的行为进行了详细分析。提出了使用该滤波器的多尺度分解来处理具有三个细节层和一个基础层的高动态范围图像。使用滤波器的多尺度分解解决了三个假设：1）基础层在任何地方都保留了局部均值； 2）每个尺度的显着边缘都是局部窗口中相对较大的梯度； 3）所有非零梯度信息都属于细节层。还提出了一种有效的函数来压缩细节层。复制的图像提供了良好的可视化效果。真实图像的实验结果表明，我们的算法在保留或增强局部细节方面特别有效。

INTRODUCTION

与相机或显示器的有限动态范围能力相比，自然场景总是包含高动态范围区域。动态范围由场景的最大和最小光强度之间的比率定义。 HDR 图像通常是通过融合多重曝光图像获得的 [1]。融合的 HDR 图像总是超出显示器的动态范围。所以这里需要一些映射来压缩HDR图像的强度分布[2]，[3]。压缩是基于人类视觉系统 (HVS) 的特征，即它对低频分量的敏感度低于对高频分量的敏感度。低频分量被压缩，而高频分量被保留。通过这个再现过程，我们几乎无法辨别人造图像和真实场景之间的差异。此处还特别注意避免伪影（例如，光晕、边缘周围较亮或较暗的条带）。

E. Land 和 McCann 在 1971 年提出了 Retinex 理论[4]。它模拟 HVS 的特征，将图像分解为照明图像和反射图像。照明图像总是假定为低频分量，反射图像对应于高频分量。该理论通常用于增强图像[5]。最近，由于其动态范围压缩功能，它还被用于再现 HDR 图像 [6]。分解过程通常基于高斯滤波来估计 Center/Surround Retinex [7] 中的环绕或自适应照明。这会导致结果图像中出现明显的光晕伪影 [8]。后来，双边滤波被用来代替高斯滤波，并产生了更好的结果。然而，双边滤波中的参数很难确定，仍然存在光晕伪影[9]。

边缘保留成为过滤设计中避免光晕伪影的重要属性。该技术将图像分解为分段平滑的基础层和细节层 [9]、[10]。基层不再只包含低频段，而且还具有显着的边缘（高频）。这里使用多尺度从最后一个分解的基础层逐步分解另一个细节层。换句话说，高频信息是从原始图像中逐步分解的。分解中有一个重要的性质，就是残差基层与原始图像信号的大尺度形状相匹配。使用这些边缘保留滤波器的色调映射图像提供了最先进的质量，并且它们在视觉上很吸引人。

在本文中，我们采用了多尺度保边分解的优点。显着边缘不再被认为是整个图像的大梯度，它们是局部自适应的。这是直观的，一个大的梯度可能不是更大规模或整个图像的显着边缘。换句话说，一个小的梯度也可能是局部的重要边缘。因此，我们对显着边缘的定义与 Farbman 的 [9] 不同。在[9]中，显着边缘被定义为全局大梯度，而我们将显着边缘定义为局部相对较大的梯度。因此，分解过程的不同之处在于将局部显着但梯度较小的分解为基础层。我们将我们的过滤器称为局部边缘保留 (LEP) 过滤器，它将有效地产生视觉上令人愉悦的图像，如本文的图片所示。

PROBLEM STATEMENT

A. Previous Work

经典的 Retinex 理论将到达相机的光建模为照度 L 和反射率 R 的乘积。如果应用对数，将产生总和

场景中光照变化缓慢但动态范围大，反射率变化快但动态范围低。这里的主要思想是首先分离光照，然后压缩动态范围，最后重构图像。

分离问题通常是不适定的。许多用于估计光照的低通滤波器未能导致图像中的伪影。 R. Kimmel 等人[11] 提出了一种数学上适定的变分方法来解决这个问题，并得到了视觉上令人愉悦的结果。它的能量函数如下：

其中α和β是自由加权参数。

保边滤波稍微改变了分解问题。它将图像视为基础层 B（除显着边缘外的分段平滑图像）加上细节层 D：

在如何定义显着边缘时，这仍然是不合适的。这里也可以提出能量函数以获得更好的结果。 Z. Farbman 等人 [9] 曾报道过：

 其中 αx 和 αy 是图像信息相关系数，λ 是自由加权参数。

G. Guarnieri 等人[12] 提出了一种基于 Retinex 理论的类似方法，具有边缘保留效果。不同之处仅在于照度大于或等于接收亮度的约束：

 其中 ω 是一个空变系数。

(4) 中的系数函数 α 和 (5) 中的 ω 暗示了一个直观的约束，即原始信息的梯度越大，就越有可能将其分解为基础层。将上面的能量函数最小化将得到一个最优的基础层解决方案，它可以平滑振荡细节但保留显着边缘，更重要的是，它看起来像原始图像。

 B. Problem Statement

在这项研究中，我们追求压缩 HDR 图像的高质量。压缩后的图像将适用于​​普通的显示和打印。所提出的算法将非常有效，它能够处理高分辨率图像。最后但并非最不重要的一点是，没有明显的人工制品是可见的。

我们遵循图像可以分解为基础层和细节层的想法。假设基础层保留局部均值，然后细节是零附近的振荡。由于很难区分哪些梯度信息属于基础层，哪些属于细节层，我们假设所有非零梯度信息都属于细节层。然后根据前面的假设，基础层应该是整个图像的均值。基础层只包含零梯度信息。这些假设似乎毫无用处，因为单个分解对原始图像没有影响。因此，应用了多尺度分解。也就是说，一张图片可以分解为一个基础层和多个细节层：

基础层 B0 是没有梯度的平原，基础层和细节层的累积和是下一个尺度的基础层，它包含显着边缘和处处的局部均值。显着边缘被定义为每个尺度上的大梯度。

尺度的含义等于本研究中的窗口大小，因此我们可以发现显着边缘是局部窗口中的大梯度。

分解后丢弃基础层，对每个细节层应用一个算子，同时进行动态范围压缩和对比度增强。

最后，我们做出以下假设。

1）基础层在任何地方都保留了局部平均值。

2）每个尺度的显着边缘是局部窗口中那些相对较大的梯度。

3）所有非零梯度信息属于细节层。

前两个假设将在滤波器设计中得到解决。第三个假设将在多尺度分解中得到解决。

PROPOSED ALGORITHM

K. Subr 等人探索了局部自适应多尺度图像分解。 [10]。在这里，我们提出了另一种方法，它比他们的方法更有效。基础层保留局部均值的假设导致细节层在零附近振荡。该假设的一个常用约束是最小化：

其中 w 代表局部窗口，I 代表图像的亮度，B 代表基础层。这种约束在 [9]、[11]、[12] 中常用，有多种解释。我们在这里解释这个约束满足我们的第一个假设。

如果 B 在窗口中足够平滑以至于它在每个像素处等于一个常数值，则通过在每个点处使导数为零来实现 (7) 的最小化，如下所示：

其中 N 是窗口 w 中的点数。我们可以得到 B 等于局部平均值。

为了保留边缘，需要另一个约束。如前所述，应在基础层中保留局部显着边缘。我们解决它，因为梯度越大，它越有可能成为显着边缘。并且过滤后的基础层应尽可能与原始亮度相似。一个约束是：

 

 I某点梯度大的时候，B接近I，梯度小的时候B会越平滑。

这两个约束加起来形成一个能量函数：

 其中 λ 处理两个约束之间的平衡，它被吸收在 α 中。注意到另一个属性，当第二个约束占主导地位并且 B 是平滑的时，根据 (8)，B 将尽可能接近局部平均值。

能量函数 (10) 解决了两个假设。最后一个假设将在后面的多尺度分解部分解决。

A. Local Edge-Preserving Filter

通过以上分析，我们得到了局部能量函数（10）。它满足问题陈述中的第一个和第二个假设。在这一部分中，我们将找到一种有效地获得最优解的方法。

首先，我们以离散形式重写（10）：

如附录所示，可以使用归一化最速下降 (NSD) 方法迭代最小化上述能量函数以获得数值解。为了便于求解，我们直观地假设 B 在局部窗口中与 I 具有线性相关性，因为像素在局部是高度相关的。因此，我们建议 B 的这种局部近似为：

其中 aw 和 bw 是窗口 w 中的常数系数。将 (11) 中的 B 替换为 (12) 将得到：

 

 公式 (13) 很像 [13] 中的成本函数，除了两个约束之间的系数 (α |∇Ii |2−β)。我们的适应梯度，而他们的则是一个设定参数。稍后我们将看到，我们的自适应系数将保留边缘，而他们的则不会。现在最优问题变成了参数估计问题。通过将每个参数的偏导数设置为零可以找到 (13) 的最小值。这个线性最小二乘的解是：

 aw始终小于1，所以公式12中结果B对比度始终会被压缩，换句话B是I的平滑版本。

每个窗口包含 N 个像素，每个像素涉及 N 个窗口。对于每个窗口，都有一组aw，bw，然后，（12）的过滤输出Bi有N个不同的值。这些值应该一起加权平均以保持正确的结果并减少失真的结果。然而，权重很难计算，所以我们简单地得到 Bi 的所有 N 个值的平均值。这与[13]中的策略相同。如果局部窗口由其中心像素标识，我们将 ak、bk 更改为 aw、bw，k 表示中心像素的位置。我们的 LEP 输出如下：

 

 我们在图 1 中与双边滤波器、引导滤波器 [13] 和 WLS [9] 一起展示了我们的滤波结果。输入是 [9] 中使用的合成图像。我们故意将窗口半径（如果有）设置为较大的值，以测试边缘保留效果。 WLS 似乎最擅长在平滑振荡的同时保留边缘。双边过滤器和引导过滤器不擅长保留边缘。我们的 LEP 似乎在他们之间。它可以保留边缘，但平滑度似乎不如 WLS。这只是我们的 LEP 的特征，即局部显着边缘保留在基于过滤的层中。我们过滤器的优势是保留了局部边缘。我们 LEP 的另一个优点是算法的渐近时间复杂度为 O(n)，与窗口大小无关。因为主要操作是平均，它可以通过Box过滤器来实现，如 [13] 中所述。

 

Analysis of LEP

 在这一部分中，我们将详细分析 LEP 滤波器如何压缩局部窗口中的细节并保留均值和显着边缘。

(14) 中的 aw 是 LEP 行为的关键变量。它总是小于 1，输出的对比度或细节被压缩。aw 越小，压缩越重。让我们重写 (14) 中的 aw，设置 α' = β = 1 并考虑一维情况：

 

 

 

 Parameters for LEP

 α'和β它们与滤波器对梯度的敏感性有关。当 α' 或 β 较小时，更多的梯度将被视为显着边缘。否则，当α'或β很大时，滤波后的输出将被过度平滑（较少的梯度将被视为显着边缘）。

Multi-Scale Decomposition

我们通过多尺度分解来处理问题陈述中的第三个假设（基础层应该只包含零梯度）。对原始图像进行操作的单个 LEP 将给出一个基础层和一个细节层。基础层保留局部均值和局部显着边缘。细节层包含零附近的振荡信号。迭代地将 LEP 应用于基础层将产生多尺度分解。在迭代时，局部窗口正在增加，从而导致渐进式粗化。

 Dynamic Range Compression

 由于细节层在零附近振荡，我们寻求一个函数来压缩远离零的大偏差并增强低偏差。压缩函数应该能够使每个点的偏差尽可能相等。为了避免梯度反转，该函数也应该是凸的，并且应该关于零对称。因此它是 sigmoid，我们找到了一个：

 它的形状如图 5 所示。反正切函数在 -π/2 和 π/2 之间变化，因此我们将其除以 π/2 以将范围压缩到 (0, 1)，其中图像像素值在此操作学习。输入乘 20 缩小反正切函数的形状，使其尽快变平。我们注意到几乎所有的 sigmoid 函数在这里都能很好地工作，但是那些斜率在零附近太大的函数可能会导致伪影增强（例如，一些幂函数）。

 该函数 (23) 获取细节层并输出压缩的细节层。如前所述，基础层被简单地删除。在压缩过程之后，将所有细节层相加得出结果。还需要对正常范围 [0, 1] 进行线性缩放。

Color

上述所有过程都是在 HDR 辐射图的亮度通道上完成的，这只是本研究中三个颜色通道的平均值。我们恢复与其原始比例成比例的颜色信息。我们使用的方程与[14]中的相同：

 其中 C = R, G, B 表示三个颜色通道，Lin 和 Lout 分别表示 HDR 压缩前后的亮度。此函数将 Lin 级别的颜色关系转换为 Lout 级别。指数 s 对适合显示的颜色执行 gamma 校正。我们发现 0.5 到 0.9 之间的指数 s 值有利于控制结果图像的颜色饱和度。 s的值越大，结果越饱和。我们在本研究中设置默认值 s = 0.6，因为它对大多数图像都提供了良好的结果。

 EXPERIMENTAL RESULTS AND DISCUSSION

Implementation

输入的 HDR 辐射图必须转换为范围在 [0, 1] 的灰度图像。我们简单地通过平均三个通道来获得亮度。1 然后将亮度转换为它的对数域。这是大多数方法的典型操作。亮度的对数近似于感知亮度[14]。为了充分利用对数函数的域，我们将亮度任意放大 106 倍。2 计算如下：

 其中 ln() 表示自然对数。最后，通过将 L 缩放到范围 [0, 1] 中找到灰度图像：

其中 max(L) 表示 L 的最大值。

我们在 (14) 中设置了 α' = 0.1 和 β = 1 的值。我们使用窗口半径 r = 2 进行第一次分解， r = 20 进行第二次分解。我们解决了算法的性能对窗口半径的选择不敏感。唯一的考虑是精细分解的第一个半径应该足够小以保留精细的细节。图 6 显示了半径组合的各种结果。

另一个特殊的操作是在动态范围压缩之后。由于我们任意使用了两次迭代分解后的平均值来给出最后一个基础层，因此最后找到的细节层具有高动态范围，我们将其除以 2 使其范围减半。结果图像组成为：

 最后，考虑到噪声和增加主要像素的对比度，将 1% 的像素以低值和高值切割。随后，Lout 的范围被线性拉伸到 [0, 1]。这在图 7 中得到证明，直方图的低端和高端（图 7（c））被少数像素占据，因此我们切割这些像素以获得拉伸的直方图（图 7（d））。我们算法的具体示意图如图 8 所示。

CONCLUSION

我们为我们的多尺度边缘保留图像分解提出了三个假设。从这些假设中推导出了一个局部边缘保留滤波器。我们还探索了与之前算法的联系。我们的过滤器只需要两个参数（窗口半径除外），并且可以始终将它们设置为默认值以获得良好的结果。我们的滤波器能够对图像进行多尺度粗化，同时保持信号的局部形状。我们还展示了使用我们的过滤器再现 HDR 图像的过程。将结果与最近一些有效算法的结果进行比较。对比表明，我们的算法擅长压缩高动态范围，同时保留局部微小细节，全局视角具有吸引力。该过程因其图像大小的线性渐近时间复杂度而非常有效。

我们在滤波器设计的局部窗口中任意假设输入和滤波输出之间的线性函数，然后对所有输出值进行全局平均。线性运算可能是导致结果中伪影的原因，因为它们可能会不适当地降低梯度。我们过滤器的另一个缺点可能是保留了突出边缘附近的局部形状。从图1（h）可以看出，边缘附近的细节被保留了，应该被平滑。这可能是边缘附近伪影的另一个来源。非线性函数可能是避免这些缺点的前景。

转载地址：http://t.csdn.cn/pqA6i