Tone-mapping high dynamic range images by novel histogram adjustment

abstract

本文提出了一种新的直方图调整方法，用于显示高动态范围图像。 我们首先提出了一种基于全局直方图调整的色调映射算子，该算子能够很好地再现高动态范围图像的全局对比度。 然后利用全局色调映射算子对图像进行分割，在局部区域进行自适应对比度调整，以再现局部对比度，保证较好的质量。 我们证明了我们的方法是快速的，易于使用和一组固定的参数值产生了很好的结果，广泛的图像。 

1. Introduction

场景、图像或成像设备的动态范围定义为亮度或信号电平的最高与最低之比。 因此，现实世界的动态范围约为14个数量级。 目前的数字图像采集和显示设备在精度和分辨率等许多方面可以与卤化银薄膜相媲美，甚至超过卤化银薄膜。 然而，这些设备的动态范围仍然有限，通常仅跨越两到三个数量级。 本文将这些器件称为低动态范围(LDR)再现器件。 

近年来，人们对高动态范围(HDR)成像越来越感兴趣，以更好地捕捉和再现真实世界的图像。 图 1显示了一个HDR室内/室外场景，动态范围约为25,000：1。 为了使黑暗区域的特征可见，大多数相机需要更长的曝光时间，但这将使明亮区域饱和。 另一方面，使用较短的曝光时间来捕捉明亮区域的细节会模糊较暗区域的特征。 这些限制被最近的相机解决了，这些相机允许捕捉更高的范围，通常是12-16位分辨率，或者通过使用HDR辐射度图[1-3]。 这些HDR辐射度图是通过合并许多带括号的图像的适当曝光部分而获得的，从而以32位浮点数格式记录场景的全部动态范围。 然而，这些数字仍然使大多数LDR再现设备的动态范围相形见绌，如计算机显示器、打印机和投影仪。 

为了在LDR设备上再现HDR辐射度图，采用了将32位浮点值转换为8位整数值的技术，以使原始真实场景的视觉印象和特征细节仍能忠实地再现。 这些技术被称为色调映射或色调再现。 图 1是我们的色调映射方法应用于原始场景的HDR辐射图的一个例子，其对比度大大超过了可用于显示和打印的对比度。

我们的工作是基于快速和自动的色调映射算子的需要，该算子能够有效地压缩高动态范围的场景，使其在低动态范围的设备上显示，从而使再现的图像看起来令人愉快，并唤起我们在原始HDR场景中的视觉体验。 

2. Review of tone mapping methods

在文献中，用于压缩动态范围的色调再现技术通常分为两大类[4]:全局色调映射算子和局部色调映射算子。 

全局色调映射算子在计算上非常简单，并且保留了原始场景的强度顺序，从而避免了“晕”伪影。 Tumblin和Rushmeier[5]和Ward[6]率先解决了计算机图形学中的色调映射问题，并开发了全局色调映射算子。 Tumblin和Rushmeier的全局算子旨在匹配显示图像的感知亮度和场景的感知亮度，而Ward[6]以不同的方法解决了这个问题，旨在匹配显示图像和场景之间的感知对比度。 后来Ferwerda等人[7]提出了一种基于综合视觉模型的全局色调映射算子，成功地模拟了适应、颜色外观、视觉敏锐度和适应的时间进程等几种重要的视觉效果。 此外，拉森等人[8]使用直方图调整技术，当显示对比度超过线性色调映射算子产生的对比度时，通过限制显示对比度（由直方图均衡化映射），将现实世界的亮度映射到显示水平，然后根据人类对比度敏感度改进该思想。 此外，作者通过包括人类视觉系统的模型，如眩光、颜色敏感度和敏锐度，实现了一个更复杂的操作符。 最近，Drago等人[9]采用自适应对数映射策略来显示高动态范围图像。 他们的方法是基于这样一种观察，即在对数函数较小的底部，陡峭的斜坡可能会增加低亮度值的对比度和亮度，从而确保黑暗区域的良好对比度和可见度； 而在对数函数较高的部分，相对适中的斜率和较大的基数可能会压缩较高的亮度值。 因此，他们改变了基于亮度水平的对数函数的基，将场景亮度映射到显示水平。 最近，段等人[10]提出了一种新的全局色调映射算子，该算子使用基于学习的技术来显示高动态范围图像。 在文献中，提出了一个有趣的工作，用不同单调全局映射产生的一系列色调映射版本来可视化高动态范围图像[27]。 由于每个版本更容易优化，以清楚地显示图像的一部分，所以整套色调映射版本可以更好地呈现图像的所有信息。 然而，本文的工作主要集中在高动态范围图像的信息可视化方面，而不是本文讨论的色调映射。 

全局色调映射算子通常会导致映射图像中细节的丢失，因此应用局部色调映射算子以更高的代价来更好地保留图像中的细节和局部对比度，因为局部色调映射技术在对每个单个像素的映射处理中考虑像素邻域信息。 Tumblin和Turk[11]使用了一种基于层的方法来显示高对比度图像。 他们将各向异性扩散，即保持边缘的低通滤波器[26]推广到一种新的低曲率图像简化器(LCIS)，将图像分解成不同的层。 然后用不同的系数对不同的层进行压缩。 然后对这些压缩层进行重构，得到可显示的图像。 他们在分解阶段的LCIS确保从高对比度图像中提取细节，并避免光晕伪影。 最近，Durand和Dorsey[12]仅使用两个“层”，介绍了一种更简单的基于层的方法来显示高动态范围图像。 他们用双边滤波器将图像过滤成基础层和细节层。 只有基础层的对比度降低了，细节层没有被触及。 对处理后的层进行重构以产生映射图像。 双侧滤波器的选择保证了像LCIS那样在分解过程中保护边缘，从而避免了在重建阶段引入晕影伪影。 Li等人也采用了双侧滤波法[25]。 首先利用双边滤波器将图像分解为两个层次，然后利用全局映射函数调整基础层，并利用基础层获得的增益映射自适应增强细节层。 最后，他们将这两个层组合在一起，获得具有良好局部对比度的色调映射图像。 然而，对于这种方法，已报道的计算速度很慢。 在[13]中，作者提出了一种用于显示高动态范围图像的多尺度图像处理技术。 在他们的方法中，他们使用了对称的分析-合成滤波器组，并计算了多尺度子带图像的平滑增益映射。 他们的方法成功地避免了通常与多尺度方法有关的光环。 莱因哈德等人[14]使用一种新颖的局部方法将高动态范围图像映射到显示器上。 他们的方法基于众所周知的闪避和燃烧的摄影实践，以再现高对比度图像的局部对比度。 法塔尔等[15]提出了一种基于对数空间中梯度域的处理方法。 他们计算对数亮度域中的梯度，从而检测原始亮度域中相应位置的对比度大小。 然后用尺度因子来衰减较大的梯度而不是较小的梯度，这意味着压缩较大的对比度而不是较小的对比度。 最后，将衰减后的梯度场通过积分返回到对数亮度域，然后通过幂运算返回到亮度域。 最近，Krawczyk等人[16]导出了一种基于HDR图像分割成框架（一致区域）的色调映射算子，该算子使用明度感知的锚定理论，并基于明度值的局部计算。 通过合并与强度成正比的框架来计算图像的最终亮度。 利辛斯基等人[17]提出了一种新颖的交互式局部调整方法，用于图像中的色调值和其他视觉参数。 在该方法中，用户只需简单的笔触就可以指示出感兴趣的区域，然后系统自动调整这些区域的亮度、对比度等参数。 

本文还研究了用于显示高动态范围图像的色调映射。 图像直方图的处理通常是控制图像对比度的一种方法。 在我们的工作中，我们首次提出了一种新的基于快速全局直方图调整的色调映射算子，该算子有效地利用了显示的整个动态范围，从而在高动态范围图像中很好地再现了全局对比度。 然而，这种算子不能更好地保留局部对比度和细节，这是全局色调映射算子的共同缺点。 在观看高动态范围场景时，人类视觉系统中的局部适应机制帮助我们看到场景中各个部分的细节。 已经有研究来模拟和更好地理解这种机制，如[18]。 受这些工作的启发，但不是在计算上建立在这些模型的基础上，我们将我们的全局色调映射算子扩展为一个新的局部色调映射算子。 该技术利用我们开发的全局色调映射算子对图像进行分割，并在局部区域进行自适应对比度调整，使每个局部区域都能更好地利用显示器的整个动态范围，同时避免噪声伪影。 由于调整是基于每个独立的局部区域进行的，自适应调整后不可避免地会出现不同块之间的剧烈跳跃。 为了解决这一问题，我们提出了一种新的双边加权方案来消除分割带来的相关边界伪影和晕影。 我们已经对大量HDR图像进行了局部色调映射算子的测试，结果表明，该算子在图像质量、自动化程度和计算速度等方面都可以与目前最先进的色调映射方法相媲美。 为了展示我们的方法，我们将本文组织如下。 在下一节中，我们首先介绍了基于快速全局直方图调整的色调映射算子。 在第4节中，我们描述了基于局部直方图调整的色调映射算子。 第5节和第6节讨论了我们建议的操作的性能。 第7节总结了我们的介绍，并简要讨论了未来的工作。 

3. Global tone mapping operator

将对数函数应用于亮度增加了低亮度值的对比度和亮度，同时压缩了高亮度值。 在HDR图像的显示方面，这已经被应用于不同的方式[9,19]。 作为初始步骤，我们使用以下函数压缩高动态范围图像I的亮度以压缩亮度D 

 

 

 

通过Eq.(1)，虽然可以适当设置映射图像的整体亮度，但映射图像细节不够，对比度较低，如图5(最右图)所示。

直接渲染紧凑亮度D(I)进行显示会导致细节和对比度缺乏的原因是如图3(a)所示的线性量化造成的。在本例中，使用切割点ln将D(I)的范围划分为等长的N=256个区间，并将落入同一区间的像素分组，使其在0 ~ 255范围内具有相同的整数显示级别D。量化完全基于实际像素值，而不考虑图像的像素分布特征。因此，在人口密集的间隔中，过多的像素被压缩到一个显示级别，导致细节和对比度的损失，而在人口稀疏的间隔中，太少的像素占用了相当多的有价值的显示级别，从而导致显示级别的利用率不足。考虑像素分布的传统技术是直方图均衡化，如图3(b)所示。在这种情况下，该方法基于均匀分布的像素群，使用切割点en将D(I)的范围划分为N=256个区间。这些区间的划分纯粹基于像素总体分布，实际像素J. Duan et al. / Pattern Recognition 43(2010) 1847-1862在d (I)范围内跨越的1849值没有被考虑在内。同样，落入相同间隔的像素被映射(量化)到相同的整数显示级别d。尽管在这种情况下充分利用了显示级别，但密集的亮度间隔可能导致对比度的夸张，而在稀疏的亮度间隔中压缩过于激进。

幸运的是，线性量化和直方图均衡映射的缺点是相互弥补的。为了达到理想的效果，所设计的色调映射算子应该在线性量化和直方图均衡化之间取得平衡，如图3(c)所示。

因此，我们的全局色调映射算子的下一步是将D(I)作为输入，并根据图3(c)使用切割点len调整其直方图，即使用介于线性量化和直方图均衡化之间的方法将D(I)映射到整数显示电平D。

在这里，我们提出了一种称为基于直方图调整的线性到均衡量化器(HALEQ)的全局色调映射算子来执行图3(c)的映射，这使得线性到均衡量化过程非常容易和快速。

参考图3，对于线性映射，D(I)的范围在处切割。对于直方图均衡化，D(I)的范围在处被截断。如果我们想要实现线性到均衡量化，更直接的解决方法是找到满足以下关系的切口

为了实现HALEQ，我们开发了一种高效的递归二值切割方法。在图4所示的开发方案中，我们首先找到将D(I)的范围(跨越[Dmin, Dmax])划分为两个等长的区间(线性量化到两个级别)的切割10，然后另一个切割e0，使得切割两侧的像素数量相同并且等于总像素总数的一半(直方图将量化均衡为两个级别)。然后，我们根据Eq.(5)中b的值在这两个切点之间找到一个切点le0。这样，我们将像素分为两组[Dmin, le0]和[le0, Dmax]。然后，每个组按照相同的操作独立分为两组，我们得到4组[Dmin, le1,0]， [le1,0, le0，]， [le0, le1,1]和[le1,1, Dmax]。该过程递归应用8次，以生成所需数量的255组，并且将同一组中的像素映射到相同的低动态范围显示级别。

图5是我们的算子与直方图均衡化、Larson等人的[8]和线性压缩的映射结果和映射曲线的示例。对于这张图片，有非常少的非常明亮的像素(对应于灯的面积)，但这些是非常重要的像素。直方图均衡化显然过于激进地压缩了这些像素，因为这些像素的总体相对较小，Larson等人的方法也是如此，因为这本质上是处理稀疏分布区间的近似直方图均衡化方法。可以清楚地看到，Larson等人的方法和直方图均衡化所映射的图像中灯的区域已经饱和，因为这部分的压缩过于激进，并且没有分配足够的显示级别给这部分，这一事实在映射曲线中得到了更清楚的证明。对于线性压缩方法(如图3(a)所示)，它从不考虑像素填充，并且平均分配显示级别，因此可以将相对较大的显示级别分配给明亮的部分(灯区)，但代价是为图像的其他部分保留较少的显示级别。因此，在图像中出现了更多的灯的细节，但图像的整体对比度和细节没有得到很好的体现，如图5(最右图)所示。相比之下，我们的HALEQ算法在上述方法之间取得了平衡，并且在根据图像内容分配显示级别方面更加灵活，从而在灯区域和图像的其他部分都保持了良好的整体对比度和细节。

我们的算子与[8]的直方图调整技术有关，因为两者都操纵直方图。 事实上，我们对[8]的结果感到鼓舞，在[8]中，作者证明，如果目标是产生“好的、自然的图像，而不考虑人类观察者在真实环境中能看到多好”，简单的直方图操作可能提供一个最佳解决方案。 然而，[8]的直方图调整方法有几个缺点。 首先，当显示对比度（直方图均衡化映射）超过线性色调映射算子时，该方法只限制显示对比度，并根据人体对比度敏感性进一步完善该思想。 然而，在稀疏的亮度区间，压缩近似通过直方图均衡来实现。 这意味着一些跨度很大的稀疏区域将被过于激进地压缩。 在这样的间隔中，人眼可见的特征（细节）可能会丢失。 图的例子清楚地说明了这种算法的这一不令人满意的方面 5. 其次，如果场景的动态范围已经在设备范围内，[8]的方法使用线性缩放。 然而，众所周知，即使场景的动态范围适合于可视化设备的动态范围，有时线性映射也会导致显示级别的不足利用，从而导致低对比度图像。 我们的方法克服了这些缺点，为HDR图像的映射提供了一个更全面、更灵活的直方图调整解决方案。 尽管Haleq技术具有这些优点，但它有全局色调映射算子的共同缺点，即映射的图像仍然缺乏局部对比度和细节。 

 4. Local tone mapping operator

具有大动态范围的视觉机制称为适应，可以解释为适应当前注视点周围一定视野水平的质量[8]。 Stevens和Stevens[18]进行了实验，科学地解释了人类在不同适应水平下对不同亮度水平的视觉反应。 在他们的实验中，观察者首先适应具有均匀亮度的背景，即适应水平。 然后，它们逐渐呈现出一个小的目标亮度，该亮度随自适应亮度水平的不同而不同。 然后记录他们对这个目标亮度的视觉反应（亮度）。 他们的实验结果解释了这种现象，即当亮度较高的点位于不同的适应水平时，亮度较低的点可以被感知到较暗。 更重要的是，他们的研究结果表明，不同的亮度间隔会在视觉系统有限的反应范围内导致重叠反应，从而扩大我们的视觉反应范围，以应对高对比度场景的全动态范围。 

受人类视觉系统局部自适应机制的启发，我们设计了一种新的基于自适应局部直方图调整(ALHA)的色调映射算子，以更好地绘制高动态范围的图像。 

Haleq的一个典型特征是它基于全局像素统计数据有效地利用了显示器的动态范围。 如果我们能够将图像分割成小区域，并在每个局部区域应用Haleq，那么每个区域都将根据其局部像素统计信息有一个完整的显示动态范围来利用。 这相当于扩展了有限的显示动态范围。 

局部区域可能获得更大的显示动态范围，并且它们可能相互重叠。 这与我们之前描述的局部适应机制一致，因此更符合我们的视觉体验。 接下来，我们详细介绍了我们的方法，该方法在局部区域应用Haleq技术来更好地映射高动态范围的图像以供显示。 

4.1. HALEQ in local regions

在我们的自适应局部直方图调整算子中，第一步是对数映射（公式（1））。 下面的步骤是确定我们将对哪些局部区域应用Haleq技术。 将图像分割成局部区域有不同的方法，例如聚类和[16]中使用的方法。 在我们的研究中，我们的目标是提供一个快速的局部算子，所以我们简单地将图像分成不重叠的规则矩形块。 图 6（左）说明了我们的方法。 基于每个块中的像素统计量，我们计算局部(，其中n为块数，在图6中，为了便于说明，我们只使用9个块，即n=9)，与上节描述的全局情况相同。 在局部算子中，我们使用一个共同的参数，作为对所有块的初始研究，稍后我们将引入一种自适应的方法来选择。 如果我们把作为映射函数，对于等式1输出的单个像素值D(x，y)，输出整数显示电平d(x，y)由下式给出 

在图7中，我们展示了与较低亮度像素相比，较高亮度像素如何被转移到较暗的显示级别，以及相同的像素值如何被转移到不同的显示级别。在该图中，有两个映射函数HALEQA和HALEQB，这两个映射函数是根据图像(图9右图)的两个单独块(A区和B区)的像素局部统计分别开发的。这些映射函数在D(I)中根据显示级别绘制。此外，将原始D(I)的直方图用线性量化绘制在同一张图中，这表明A区域的整体亮度低于B区域。现在我们选取亮度水平分别高于和低于其对应的适应亮度(A和B区域的平均亮度水平)的两点PA和PB。我们可以看到，我们的映射函数将PB映射到比PA (d1od2)更低的显示级别，这与我们的视觉体验相匹配，即在黑暗区域中亮度水平高于自适应亮度(平均亮度水平)的点可以被感知为比明亮区域中亮度水平低于自适应亮度的点更亮，尽管后者的实际亮度水平可能等于甚至高于前者。在同一张图中，我们还可以看到D(I)中的两个不重叠的间隔可以导致重叠的显示电平间隔(标记为红色和蓝色)，从而增加了局部区域使用更宽的显示动态范围的机会，以传达更多的对比度外观。

图8为对D(I)采用不同处理方法后A区域的归一化直方图。上面的直方图是由线性量化生成的。中间的直方图是由原始HALEQ生成的，它的形状比顶部的更宽。这就是为什么经过HALEQ处理后的输出图像与经过线性量化处理后的图像相比，对比度得到了提高(图5)。底部的直方图是由局部HALEQ生成的，它突破了单调映射关系的约束，利用了更宽的显示动态范围来提高局部对比度。

图9为局部HALEQ方法的映射结果。显然，这些图像在暗区和亮区都显示出更多的细节和局部对比。然而，在每个独立的局部区域直接应用HALEQ会导致不同区块之间的急剧跳变。其结果是图像中的边界伪影如图9所示，尽管在细节可见性和局部对比度方面有所提高，但映射后的图像仍然不可接受。

为了解决边界伪影，我们引入了如图6(右)所示的方法。对于图像中的每个像素值D(x,y)，最终映射的像素值是色调映射函数HALEQ1[D(x,y)]、HALEQ2[D(x,y)]、HALEQ3[D(x,y)]等的结果根据距离加权函数加权平均后的结果，如下所示:

在我们的实验中，当将图像划分为块时，我们使用了固定的32 x 24像素块大小。dn为当前像素位置到每个块中心的欧氏距离，如图6(右)所示。控制图像的平滑度。值越大，计算wd时dn的影响越小。这意味着在加权操作中，所有色调函数的权重几乎相等，局部性不那么明显。因此，将边界平滑因子设置为较大的值会使图像没有边界伪影，但局部对比度较低。将设置为较小的值使平滑不那么明显，结果图像显示更多的局部对比度，但可能显示边界伪影。对于所提出的块大小，将设置为20.0效果很好，不仅平滑了边界伪影，而且保留了局部对比度。K是加权操作中使用的块号。将边界平滑因子的值设置为20，则5x5个邻域块可以很好地工作，因此Eq.(7)中的总和仅为25个块，即K=25。

图10为考虑距离加权函数后的图像。我们可以看到，得到了很好的结果，干扰的边界伪影消失了。这些图像显示了细节和局部对比，比图9中的图像更自然。然而，仔细观察得到的图像可以发现，为了保证质量，还有两个问题需要解决。

第一个与HALEQ的性质和它对图像应用对比度增强方法的事实有关。众所周知，当增强水平过大时，对比度增强方法会在均匀区域引入噪声。在我们使用HALEQ操纵对比度的例子中，控制第3节中描述的增强级别。因此，为了避免均匀区域的噪声伪影，确定参数值的自适应方法是必要的。由式(5)可知，值越低，均衡化水平越低，对于均匀区域更合适。第二个问题集中在当物体的轮廓接近均匀区域时产生的光晕伪影。这主要是由于距离加权函数的性质。

4.2. Adaptive selection of parameter in uniform areas

在上一节中，为了提高局部对比度，对图像上的所有块应用了一个共同的参数，这可能会在相对均匀的区域引入噪声伪影。为了解决这个问题，一种直接的方法是降低区域相对均匀的块的对比度增强程度，这可以通过减小HALEQ技术的参数来实现。主要的挑战是测量均匀性，以便检测图像中相对平坦的区域。具有均匀面积的块的一个典型特征是，经过对数映射后，这些块呈现窄形直方图，如图11(左)和(中)所示。位于均匀天空区域的块比图像中其他区域的块分布更集中。许多统计数据，如熵或离散度量，可用于测量这种情况。在我们的案例中，我们提出了以下的Eq.(9)作为每个块n的均匀性测量，它已被证明可以得到一致的好结果。

其中M为bin号，Hist(i)为第i个bin的像素总体，mean为每个bin的平均像素总体，如图11所示。sdn值越大，表示每个bin中的像素总体分布离平均像素总体越远，对应的亮度分布越均匀。现在如果

然后该区域可以视为均匀区域，对比度增强应该适中。是阈值，它决定在什么水平上，块可以被视为一个均匀的区域。较小的认为更多的区域是均匀区域，降低了这些区域的对比度增强。其效果是产生的图像显示很少的噪声伪影，但代价是局部对比度总体下降。在我们的实验中，我们发现在选择20个箱数(M=20)时将值设置为17.0，效果很好。图11(右)使用黑色块来标记使用上述方法检测到的图像中的均匀区域。

在检测到图像中的均匀区域后，我们根据实验提出Eq.(11)，平滑地降低这些区域的参数，根据均匀程度降低对比度增强。

式(11)表示SDn的值越大，的值越小，这与我们前面讨论的相对应，SDn的值越大，对应的区域越均匀，对比度增强应该变得适中。根据式(11)，与SDn的关系图如图12所示。

图13为考虑图像中均匀区域前后的映射图像。对于这个例子，我们可以看到天空有一个更自然的外观。我们现在转向消除晕伪影在物体轮廓附近的均匀区域与亮度强的差异。

4.3. Removing halo artifacts

从图13(右)可以看出，在物体轮廓靠近均匀区域的地方，很可能出现晕影。

图14说明了这种情况的原因。当我们将图像划分为规则块时，我们不能保证属于统一区域的像素总是被分组到同一个块中，并且它们可能被分离到不同的块中。由于对应的局部HALEQ运算符可以基于非常不同的亮度分布，因此两个值相似但位于不同区域的像素可以投影出非常不同的值。距离加权运算(Eq.(7))可以平滑差值;但不能完全消除它，因为它会优先考虑像素所在的块。虽然这是我们想要的，以显示局部对比，我们不希望这种情况发生，当像素明显属于统一的区域，并表现出统一的特征。为了解决光环伪影问题，我们在Eq.(8)和提出双边加权方案，如下式(12)所示。

wd(n)是前面介绍的距离加权函数，ws(n)是相似度加权函数，Dmax是D(x,y)中的最大值，Sn是当前像素值与n块的平均像素值(dmean)的归一化差。虽然距离加权函数平滑了块之间的大跳跃，它仍然确保保留局部对比度，因为它总是为像素所在块中的HALEQ分配最大的权重。相似性加权函数增加了均匀区域中相似像素被映射到相似值的机会，即使它们属于不同的块。较小的值有助于消除光晕，但会产生局部对比度较低的图像。这是因为距离加权函数的权重很可能被图15所示的相似函数所削弱。在我们的实验中，我们发现使用0.1的给出了平衡的良好结果，这不仅保留了局部对比度，而且衰减了总是发生在均匀区域附近的物体轮廓附近的晕影，如图15所示。

5. Computational efficiency

在 HALEQ 全局色调映射算子的实现中，我们的目标是提供一种高效的处理方法。为了实现这一目标，我们通过将浮点数密集量化为整数来近似浮点数，以便我们可以使用 LUT 来存储使用第 3 节中描述的方法获得的色调映射函数，然后快速使用它来将像素辐射值映射到显示级别。该方法非常高效，在2.0GHz CPU的T7300上计算一张1024x768像素的图像只需要大约0.1 s，这也有利于ALHA第一步的快速计算，即获得块中的所有色调映射函数。在 ALHA 实现中，计算量最大的部分是加权过程。然而，这部分也可以通过使用以下策略轻松加速： 1. 仅针对一个块预先计算所有像素的距离权重函数，然后对所有其他块重复使用计算值， 2. 计算,相似度函数可以被近似、预先计算并存储在LUT中，以避免对每个像素进行大量的指数计算。通过使用这些方法，我们的 ALHA 计算效率非常高。在这里，我们将 ALHA 运算符与 3 个最先进的色调映射运算符进行比较。使用我们的 ALHA 算子在具有 2.0GHz CPU 的 T7300 上映射 1024x768 像素图像大约需要 0.4 秒，这比 Fattal 等人的算子 [15] 快约 5 倍，比 Reinhard 等人 [14] 运算符快 6 倍，比 Durand & Dorsey 的双边过滤技术 [12] 稍慢。我们的ALHA色调映射算子的另一个属性是不同块中色调映射函数的推导是彼此独立的，并且每个像素的加权过程仅与5×5个相邻元素相关联。这种设计的潜在优势使得我们的 ALHA 色调映射算法非常适合并行计算，很有可能使用 GPU 加速到实时计算。

6. Compare ALHA tone mapping operator with other tone
mapping operators

色调映射算法的评价是色调映射文献中的一个重要研究课题。然而，仍然很难找到一个计算模型来确定色调映射算法的优越性。因此，更好的理解色调映射算法的优越性的方法是使用人类观察者和心理物理实验来评估它们的性能。此外，需要明确评估的呈现意图，如准确或愉悦的呈现[21]，因为对于相同的色调映射算法，不同的呈现意图会导致不同的评估结果。最近，一些研究研究了色调映射算法在非图像(科学)高动态范围图像[28]上的性能，这再次导致了对这种特定渲染意图的不同评估结果。在我们的实验中，我们评估了色调映射算法的愉悦渲染性能，因为用户很难体验真实场景来进行准确的渲染评估，并且在大多数情况下用户的判断只是基于色调映射图像看起来有多愉悦。在文献b[21]中，Durand & Dorsey的双边过滤技术被认为在令人愉悦的渲染方面表现最好。因此，在我们的实验中，我们设置了心理物理实验来比较我们的ALHA算法和他们的算法。由于本文的主要重点是色调映射算法的开发，因此我们没有寻求全面的评估方法。因此，使用相对简单但公平的配对比较心理物理实验来评估两种色调映射算法的性能。

我们选择了21张图片进行实验。这些图像包括室内和室外照片，覆盖了大范围的高动态范围的场景。在这些图像中，一部分是色调映射算法测试中广泛使用的标准HDR亮度图，另一部分是从一些HDRI软件公司的网页[22,23]中的样本图像集中选择的，如图16所示，然后将它们组合成HDR亮度图。

每张图像都是由Durand & Dorsey的双边滤波技术和ourALHA色调映射技术渲染的。我们知道，对色调映射算法的参数进行仔细的选择通常可以产生更令人满意的图像质量。因此，为了进行相对公平的比较，我们在心理物理实验中使用每种算法的默认参数集来计算所有的测试图像。在我们的算法中，使用前面讨论的所有建议的默认参数来计算所有的图像;对于Durand & Dorsey的双边滤波技术，我们使用他们提供的软件，并使用相同的默认参数设置来计算所有的图像。对于每张图像，两种色调映射算法的图像对并排显示在昏暗房间的CRTmonitor上，但两种算法渲染的两幅图像的左右位置是随机切换的。所有这些对都以固定的顺序呈现给参与者。31名具有正常色觉和不同成像经验的大学生被要求比较两张渲染图像，并选择他们最喜欢的一张。如果他们没有偏好，他们可以选择“不在乎”选项。

表1总结了我们的实验结果。在表中，每种情况的表现计算为“获胜”分数加上“不在乎”分数的一半。黄色标记了我们的算法比Durand & Dorsey的技术表现更好的情况。总的来说，在总共21起案件中，他们的技术比我们多赢了3次。实验结束后，参与者通常会报告Durand & Dorsey的双边过滤方法产生的图像与我们的相比具有更多的局部对比度，而我们的方法与他们的相比具有保留更多细节的优势。图17显示了实验中两种方法渲染的这些图像对的一个示例。可以看出，Durand & Dorsey的方法产生的图像具有更多的局部对比度，而我们的方法清晰地显示了更多的细节，如窗口区域(图17中放大的区域)。实验结果表明，当图像之间的细节差异不是很大时，用户更倾向于局部对比度更强的图像，这是他们的方法优于我们的方法的情况。虽然我们的技术在案例数上输掉了，但是在总数上我们还是赢了他们，即我们的技术总共赢了318次，而他们的技术总共赢了316次(粉色标记)。结果很有趣，并且表明，在某些情况下，我们的算法表现得比他们的好得多，因此尽管在总案例数上失败，我们仍然可以在总数上获胜。这意味着，在默认参数设置下，他们的算法可能会在某些特定情况下产生更不令人满意的结果。例如，用他们的方法生成的“公寓”图像显示出非常低的图像质量，因此我们的方法赢了27次，而他们的方法只赢了3次。相比之下，使用我们的算法生成的图像质量对于不同的图像内容不会有太大的变化，并提供一致的良好渲染结果。这意味着与他们的算法相比，我们的算法在生成良好的色调映射图像方面具有更好的自动化。因此，我们认为我们的算法比他们的算法更适合自动批处理的目的。

除了上述与超级色调映射算子的详细比较外，我们还想将我们的ALHA算子与文献中另外3个比较完善的色调映射算子进行一般比较，如图18所示。基于学习的[10]方法是一种全局色调映射算法，具有很好的全局对比度处理能力。然而，该方法在处理局部对比度和细节方面明显不如我们的ALHA算子有效，如图18所示。黑暗的角落是很难看到的，而我们的ALHA操作员清楚地揭示了这些部分的细节。因此，ALHA生成的图像看起来比基于学习的方法更令人满意。梯度域压缩方法[15]提供了良好的局部对比度图像，但这些图像可能存在某种噪声伪影，如图18所示。相比之下，我们的ALHA产生的结果更清晰、更干净。此外，他们的方法比我们的慢得多——正如第5节所报道的，我们的方法大约比他们的快5倍。此外，他们的方法自动化程度较低，需要一定的参数调整才能产生良好的结果。相比之下，在前几次会议中讨论的算法的建议默认参数产生了第5节报告的良好色调。此外，他们的方法自动化程度较低，需要一定的参数调整才能产生良好的结果。相比之下，我们在前几次会议中讨论的算法中提出的默认参数可以在各种情况下产生良好的色调映射图像，如本文提交的补充材料所示。摄影色调映射技术[14]需要的参数调整和我们的一样少。但是，我们的方法比这种方法能够更好地保留细节和局部对比，如图所示。此外，我们的方法比该方法的非近似解快近6倍。

总之，我们的ALHA算法在速度，质量和自动化方面与最先进的色调映射算子非常有竞争力。我们相信，我们的技术将是一个非常好的候选实际应用。我们的ALHA产生的更多结果如图19和本文提交的补充材料所示，这些结果都是使用我们的默认参数集产生的。

7. Conclusion and future work

本文提出了一种用于显示高动态范围图像的直方图调整方法。我们的全局色调映射算子HALEQ工作速度快，能够很好地再现高动态范围图像的全局对比度，克服了直方图调整色调映射算子[8]的一些缺点，为我们的局部色调映射算法提供了更好的基础。然而，全局色调映射算子不能较好地再现局部对比度。为了开发一种能够产生高质量图像的色调映射算子，我们将全局HALEQ适应于局部实现，设计了一种局部色调映射算子ALHA。将HALEQ直接应用于局部区域会引入与不同工件相关的新问题。对于所有这些问题，我们都制定了成功的解决方案，并取得了良好的效果。我们的ALHA色调映射算子能够以更快的计算速度和更少的参数调整产生高质量的结果，这与最先进的色调映射技术相当。尽管有这些优点，但目前的局部色调映射算法仍有改进的余地。本文提出的ALHA算法的GPU实现是未来的一个研究课题，从而实现局部色调映射算法的实时计算。本工作中使用的相似度加权函数是简单地基于像素平均值ineachlocalregion。我们将在每个区域探索更先进的统计数据来进行相似加权函数。