A Hybrid ℓ1-ℓ0 Layer Decomposition Model for Tone Mapping

Abstract

色调映射旨在从保留视觉信息的高动态范围图像中再现标准动态范围图像。最先进的色调映射算法大多将图像分解为基础层和细节层，并进行相应的处理。由于缺乏施加在两层上的适当先验，这些方法可能存在光环伪影和过度增强的问题。在本文中，我们提出了一种混合的分解模型来解决这些问题。具体地说，在基础层上施加了一个l1稀疏性项，以模拟其分段平滑性。在细节层上施加了一个l0稀疏项，作为结构先验，这导致了分段恒定效应。我们进一步提出了一种基于图层分解模型的多尺度色调映射方案。实验表明，我们的色调映射算法在几乎没有光晕伪影的情况下获得了视觉上令人信服的结果，在主观和客观评估中都优于最新的色调映射算法。

1. Introduction

真实场景可能跨越亮度动态范围，显著超过大多数成像设备的响应范围 [4]。由于高动态范围 (HDR) 技术在过去十年中的快速发展，可以通过方括号曝光融合技术将场景的完整信息记录在辐射图中 [2,7]。但是，大多数显示设备的动态范围有限，并且无法忠实地再现辐射图中的信息。因此，需要一种有效的色调映射算法，以在不牺牲主要视觉信息的情况下将HDR辐射图转换为标准动态范围 (SDR) 图像。

在过去的二十年中，文献中已经提出了大量的色调映射方法。尽管设计方法多种多样，但这些色调映射方法中的很大一部分都基于层分解 [8,14，23,29]。具体地，将图像分解为基础层和细节层，然后分别处理。具有细颗粒细节的细节层被保留或增强 [8,14]，并且具有大的空间平滑度和高范围变化的基础层被压缩。尽管大多数基于层分解的色调映射算法可以在一定程度上提高辐射图的视觉可解释性，但它们在获得自然和视觉上令人愉悦的结果方面仍然存在局限性。一个典型的问题是小规模纹理细节的过度增强。这是因为现有作品通常会忽略细节层的空间属性，这对色调映射图像具有重大影响。此外，由于缺乏基础层的边缘保留特性，光环伪影也是一些色调映射算法中的问题 [14]。为了获得辐射图的自然且无伪影的再现，必须将一些适当的先验纳入层分解框架中。

鉴于HDR辐射图中记录了大量信息，因此应将信息的哪一部分分配给视觉感知的高优先级是色调映射的重要问题。在心理学中，发现人的视觉对边缘更敏感 [1,13]。这种视觉机制有助于捕获场景的主要语义信息。在本征分解 [3,6] 的研究中，通常认为反射层 (类似于细节层的概念) 中的边缘是稀疏的，这也表明图像中结构信息的重要性很高。鉴于上述观察结果，色调映射运算符应首先解决结构再现问题。由于层分解框架中细节层的空间属性在很大程度上影响了色调映射图像的视觉外观，因此我们考虑在细节层上强加结构稀疏性。

虽然在色调映射研究中很少报道将空间先验用于细节层，但在Retinex分解 [12,25] 中，长期以来一直采用l1稀疏性先验来模拟反射层的结构稀疏性。尽管 “l1” 项保留了图像中的边缘，但其分段平滑性导致了较弱的结构先验。另一方面，“l0稀疏性” 项显示出很大的分段展平特性 [34]，对于结构先验而言，它似乎是更好的选择。

在本文中，我们提出了一种用于色调映射的混合的层分解模型。具体地说，在细节层上施加了一个l0梯度稀疏项，以对结构先验进行建模。这样，细节层将主要包含结构信息，这些信息将得到增强。同时，为了减少光晕伪影，在基层上施加了一个l1梯度稀疏项以保留边缘。基于我们的分解模型开发了多尺度色调映射方案。由于在我们的层分解中使用了适当的先验，因此我们的色调映射器在主观和客观评估中均优于最新算法。

本文组织如下。第二节回顾了一些相关工作。第3节介绍了提出的层分解模型。我们的多尺度音调映射算法在第4节中进行了总结。第5节和第6节分别是实验和结论。

2. Related Work

我们的工作主要涉及色调映射，基于Retinex的层分解和边缘感知过滤。

Tone mapping.

现有的色调映射算法可以分为全局方法和局部方法。全局色调映射方法以单个压缩曲线再现SDR图像 [28,32，444]。相比之下，局部色调映射方法以空间上不同的方式执行此任务，并且在细节上更好地增强。局部方法通常基于层分解，其中基础层首先由边缘保留滤波器估计，而细节层是基础层和原始图像之间的残差。不同的局部色调映射算法主要在滤波器设计技术上有所不同。在早期阶段，采用了基于内核的过滤器。Reinhard等人提出使用具有空间自适应尺度参数的基于高斯的滤波器 [29]。Durand等人采用了双边滤波器来估计基层 [8]。尽管这种方法可以在某种程度上避免光晕伪影，但它通过增强小比例细节来过度增强图像。Li等人提出了一种用于色调映射的多尺度小波方案 [18]。Meylan等人提出了一种基于Retinex的色调映射自适应滤波器 [23]。[14] 中提出了一种用于色调映射的加权引导滤波器，由于小比例细节的过度增强，该滤波器也存在过度增强的问题。还提出了基于全局优化的滤波器用于色调映射。Farbman等人提出了加权最小二乘 (WLS) 滤波器 [10]。该滤波器具有出色的平滑效果，具有很强的保边性。其他色调映射算法包括全局线性窗口方法 [30] 和基于PCA的方法 [17]。

尽管现有的基于层分解的色调映射方法在基础层上施加了边缘保留先验，但它们在细节层上几乎没有关注。相反，我们的分解框架在细节层上施加了结构先验，以提高结果的视觉质量。

Retinex-based decomposition.

尽管最初来自视觉恒定性研究 [16]，但Retinex分解估计了单个图像的照明和反射率。Retinex分解通常被公式化为具有不同反射率和照明先验的变分模型。在开创性工作 [15] 中，Kimmel等人提出了一种用于对比度增强的基于v2的Retinex分解模型，其中假定照明和反射率是全局平滑的。Ng等假设反射层是分段光滑的，并用总变化项代替了l2范数 [25]。Liang等人假设光照是分段平滑的，并提出了一种基于非线性扩散的光照估计方法 [19]。此方法保留了照明层中的边缘并抑制了结果中的光晕伪影。最近，Fu等人提出了在由亮度倒数加权的反射层上的 ℓ1项，以模拟反射系数的分段常数假设 [12]。

Edge-preserving smoothing.

边缘感知平滑是图像处理中的一项基本技术。最早的边缘保留滤波器是考虑图像局部范围变化的双边滤波器 [9]。Min等人提出了基于加权最小二乘法的快速全局平滑器 [24]。其他代表性过滤器是 [34] 中的基于l0的过滤器和 [3] 中的基于权重的-基于l1的过滤器。

3. Layer Decomposition Method

我们首先提出了一个混合的l1-l0层分解模型，并给出了求解器。然后，我们将这种分解方法扩展到多尺度框架，在该框架中，可以处理图像的不同组件以进行色调映射。

3.1. Hybrid ℓ1-ℓ0 Layer Decomposition Model

为了设计合适的层分解框架，我们建议在细节层上强加结构先验，在基层上强加边缘保留先验。分别用S，B和S-B表示原始图像，基础层和细节层。提出的层分解优化模型给出如下:

注释：第一项B接近S，第二项是B的L1梯度稀疏项，第三项是S-B的L0梯度稀疏项。

 

我们的层分解模型的优点在于对l1和l0正则化的混合使用。一方面，由于 l1稀疏性项 [20] 的异常值拒绝性质，因此保留了基础层的大梯度。因此，基层是分段光滑的。另一方面，已经证明了从l0稀疏项产生平坦化效应 [26,34]。我们的模型应用了 “l0” 项来强制细节层的小纹理梯度为零，同时保持主要结构梯度不变。如图1(b) 所示，这种布置产生分段恒定效应并成功地对结构先验进行建模。

细节层的另一种可能的选择是在Retinex研究 [12,25] 中报道的 “渐变稀疏性优先”。在 [12] 中，在反射率/细节层上施加了 “l1” 项，以获得分段恒定效果。但是，有一点l1项有两个缺点。首先，其分段平滑度 [21] 的性质不足以产生分段常数结果，如图1(c) 所示。其次，在相同的参数设置下，l1 项不能强烈地规整细节层，这可能导致色调映射图像的过度增强，如图1(e) 所示。为了显示在l1项和l0项之间的差异，在图1(f) 中示出了从其所得细节层提取的1-D轮廓信号。信号的位置由图1(a) 中的黄线表示。我们可以看到，“l0” 项使小的琐碎变化变平，并保留了视觉上重要的边缘，而 “l1” 项对此无效。结果，如图1(d) 所示，使用 “l0” 项避免了过度增强问题，并且增加了图像的视觉可解释性。

 3.2. Model Solver

由于 ℓ0范数正则化，目标函数 (1) 是非凸的。我们采用乘数交替方向法 (ADMM) 框架 [5] 来求解该优化模型。由于空间有限，我们仅简要介绍了每个子问题的解决方法。更详细的描述请参考补充材料。

为了清楚起见，我们首先将目标函数 (1) 以矩阵向量形式重写为:

 

 其中yi，i = 1,2是拉格朗日对偶变量。在迭代k时，通过最小化几个原始子问题并交替最大化对偶问题来优化函数 (4)。

模型的结果增广拉格朗日函数

 

 

 ADMM可以在几次迭代 (在我们的情况下为15) 内有效地找到基础层B变量的近似解。在得到B之后，细节层可以通过S − B来计算。

3.3. Extension to Multiscale Decomposition

通过将混合的l1-l0分解模型 (1) 应用于辐射图，我们可以产生分段恒定细节层和分段平滑基础层。虽然这种单尺度方案赋予了色调映射的标准框架，但将分解反复应用于基础层会导致多尺度分解，这可以进一步改善色调映射的结果。通过这种方式，可以对由不同比例层表示的图像的不同属性进行不同的操纵，这导致了更灵活和有效的色调再现。通过利用效率和有效性，我们采用了用于色调映射的两尺度分解方案，如图2所示。它将产生一个尺度-1细节层D1、尺度-2细节层D2和一个尺度-2基础层b2。

 如第3.1节中所讨论的，D1的空间属性在很大程度上影响色调映射图像。我们将建议的l1-l0模型 (1) 应用于第一个比例分解:

 式中，为 (1) 中的优化模型。在第一级分解之后，结构信息保留在细节层D1中，并且主要纹理信息被传送到基层B1。

对于第二个比例分解，将简化的模型 (1) 应用于B1，其中将 “l0” 项的权重 λ2设置为0，从而导致总变化问题:

 

这种简化是基于这样一个事实，即我们的目标是在比例2细节层D2中保留图像的纹理信息。因此，基于l0 base的结构先验不适用于这种分解规模。结果，层D2存储大部分纹理信息，并且层B2包含局部平均亮度。

总而言之，我们的两尺度分解方案产生了三层D1，D2和B2，满足:

图3显示了我们模型具有1个比例和2个比例的色调映射结果 (我们的色调映射算法的细节将在第4节中讨论)。可以看出，虽然单比例结果是可以接受的，但双比例结果可以更好地保留图像的中频分量，并实现更自然的外观。

 Acceleration.

不严格要求第二比例分解 (9) 的精度。因此，我们采用加速方案。首先，我们将B1层线性下采样4倍。然后执行 (9) 中的分解模型以获得B2的低分辨率图像，然后对原始分辨率进行线性上采样。由于图像中的边界区域由于采样方案而略有模糊，因此我们最终以原始B1为制导图像对B2进行快速联合双边滤波，以恢复尖锐的边界信息 [27]。

4. Tone Mapping

基于所提出的层分解的输出，开发了一种色调映射算法，其主要步骤包括颜色转换，多尺度分解，细节层增强，基础层压缩以及层的重组。尽管此框架在色调映射研究中很常见，但我们的方法在两个方面有所不同。首先，我们的图层分解模型对图像的空间属性具有区分性。如第3.3节所述，我们的多尺度分解将结构信息，纹理信息和局部平均亮度分别部署到不同的层中，而现有的多尺度模型仅执行渐进式平滑 [10,14]。其次，在我们的多尺度操作方法中，我们执行层选择性非线性处理，而其他工作仅执行线性强度缩放 [10]。

由于图像的动态范围主要嵌入在亮度域中，因此我们的核心算法仅处理亮度通道并保留色度分量。具体地，将输入的RGB辐射图转换为HSV空间，并且仅对V通道进行色调映射。在反向变换阶段，饱和信道乘以0.6以防止过饱和。

我们在亮度通道上的色调映射算法，如图2所示。首先将辐射图的通道Vh转换为对数域，并归一化到 (0,1) 的范围。此步骤模仿了人类视觉对亮度的响应，并初步减小了动态范围。然后应用我们使用 (8) 和 (9) 的两尺度分解模型，产生三层D1、D2和B2。由于可以将基础层B2视为图像的局部亮度级别，因此我们通过伽玛函数对其进行压缩:

 其中L是最大亮度级别 (在我们的情况下，由于归一化，L = 1)。对于第一比例细节层D1，我们使用非线性拉伸函数来增强它:

 该参数为 α 的函数对以0为中心的信号具有拉伸作用。较小的 α 会产生较大的拉伸度，反之亦然。由于分解模型 (1) 对D1施加了结构先验，因此原始图像的结构残差通过拉伸函数增强。这种安排将产生更具视觉吸引力的图像。然后，通过以下方式重建亮度SDR图像

 最后，0.5% 和99.5% 强度水平下的vs值分别映射到0和1。超出此范围的值被剪切。

5. Experiments and Analysis

本节介绍了一些实验，以验证我们的混合l1-l0层分解模型(1) 和所提出的色调映射算法的性能。从各个来源1 2收集了具有40个辐射图的HDR数据库，以进行评估。这40幅图像涵盖了室内和室外场景，具有不同类型的物体，包括植物，汽车，天空和建筑物。

5.1. Parameter Selection

影响我们的l1-l0分解模型 (1) 的主要参数是 λ1和 λ2，它们分别控制基础层的平滑度和以后的细节。在下文中，我们使用平均局部熵 (MLE)3来客观地测量两层的平滑度。较大的MLE表示较低的平滑度，即图像中的纹理更多，反之亦然。

图4示出了固定 λ1时 λ2对细节层的影响。从图中可以看出，λ2的不同值会导致D1上不同程度的平坦化/平整度效应。当 λ2过大 (0.008) 时，一些结构完全变平，导致低MLE (0.97)。相反，当 λ2太小 (0.0008) 时，在具有大MLE (2.33) 的D1中出现一些小的纹理梯度，并且较少表示结构先验。我们对数据库进行了广泛的实验，发现当 λ2设置为0.01 λ1时，分解始终令人满意。图5呈现了当 λ2固定到0.01 λ1时参数 λ1的影响。可以看出，λ2主要控制D1的信号幅度，但略微控制B1的分段平滑度。我们将 λ1固定为中等值的0.3。

其他待确定的参数是 (9) 中的 λ3，(11) 中的 γ 和 (12) 中的 α。λ3控制最终基层B2中的光滑度。我们发现，除了某些极端设置外，λ3不会对色调映射的图像产生太大影响。因此 λ3被固定到0.1。Α 主要控制第一细节层D1的拉伸程度。为了避免过度增强效果，我们将其设置为中等值0.8。最后，将 γ 设置为2.2，作为Retinex分解研究中的常见做法 [12,15，25]。

5.2. The Decomposed Layers

为了验证我们的色调映射算法的多尺度分解性能，我们与Gu的多尺度色调映射器进行了比较 [14]。在Gu的模型中，将由梯度函数加权的局部引导滤波器重复应用于原始图像，以获得2尺度分解 (3层)。请注意，尽管Gu的模型声称具有3个比例 (4层)，但最后一个比例基础层是恒定图像。因此，有效的比例编号为2。Gu的模型在基础层上强制执行边缘保留特性，而不会在细节层上施加任何先验。

在图6中，比较了Gu模型和我们的模型的多尺度分解结果。在图7中示出了一维辅助分析，其中从每个方法的分解层中提取一块一维轮廓信号 (在图7 (A) 中由白线指示的位置)。从图7(b) 可以看出，Gu的模型在不考虑细节层的空间属性的情况下执行渐进平滑。因此，第一细节层 (图7(b) 中的红色曲线) 充满小的波动，并且色调映射图像被过度增强，如图6(d) 所示。此外，由于局部滤波的性质，Gu的模型并没有严格保留边。因此，色调映射结果具有光晕伪影 (参见图6(d) 中的放大)。相反，由于结构先验，我们的方法在第二层D2中分布小规模的变化，并强制第一层D1为分段常数，如图7(c) 所示。同时，我们的方法也是保边的。如图6(h) 所示，它不仅避免了光晕伪影，而且还实现了视觉上令人信服的结果。

5.3. Comparison of Tone Mapping

6. Conclusion

本文针对色调映射的过度增强和光晕伪影问题，提出了一种新颖的混合l1-l0层分解模型。此分解模型有效地在细节层之前执行结构，并在基础层之前执行边缘保留。采用ADMM算法有效地求解了分解模型。基于l1-l0层分解输出，提出了一种多尺度色调映射算法。它在基础层中执行动态范围减小，在细节层中执行结构提升。由于正确使用了这两个先验，我们的多尺度色调映射算法不仅避免了光晕伪影，而且比现有作品获得了更具视觉吸引力的色调映射结果。