Real-time noise-aware tone mapping

Abstract

许多应用都需要实时高质量的视频色调映射，例如相机中的数字取景器，适应环境光的显示算法，相机内处理，视频游戏的渲染引擎和视频后处理。我们提出了一个可行的解决方案，通过设计一个视频色调映射算子来控制噪声的可见性，适应显示和观看环境，最大限度地减少对比度失真，保留或增强图像细节，并且可以在没有任何预处理的情况下在传入序列上实时运行。据我们所知，没有现有的解决方案提供所有这些功能。我们的新贡献是:一种快速计算局部显示自适应音调曲线的方法，该方法可以最大限度地减少对比度失真，一种快速的细节增强方法，没有环形伪影，以及结合上述所有功能的集成视频音调映射解决方案。

1 Introduction

高动态范围(HDR)视频将为高端影院和消费级产品提供前所未有的观看体验改进。在对视觉保真度和艺术自由度要求的推动下，HDR技术目前发展非常迅速。在拍摄方面，我们看到了专业hdr相机系统的发展，如Arri Alexa XT和Red Epic Dragon，其扩展动态范围高达14 - 16.5 f-stops，以及研究原型[Tocci等人，2011;Kronander et al. 2013]显示出高达20 - 24光圈的动态范围。在制作方面，主要工作室通过开发完全支持hdr的制作流程来顺应这一趋势，并将全新的创意工具放在美工手中。在显示方面，HDR技术也备受关注。制造商，例如Sim2，已经开始使用高对比度局部调光技术来扩展动态范围，杜比视界x -tend动态范围PRO最近已经发布。尽管从捕获和处理到压缩和显示，在hdr视频管道的每一步都花费了大量的努力，但一个重要的挑战仍然需要实质性的改进:hdr视频的色调映射。

尽管需要鲁棒的视频色调映射，但现有的算法往往达不到预期，因为它们往往会显示或放大噪声，不能处理大对比度压缩，引入振铃，重影或时间闪烁[Eilertsen等人，2013]，不适应显示和观看条件，或者计算速度慢。

我们提出了一种新的视频色调映射算子(TMO)，它可以控制噪声的可见性，适应显示和观看环境，最大限度地减少对比度失真，保留或增强图像细节，并且可以在不进行任何预处理的情况下在输入序列上实时运行。我们的色调映射的目的是在给定目标显示的约束下保持原始图像的对比度，或者为对比度增强提供创造性的控制，并提供最终结果的实时全分辨率视觉反馈。我们不会尝试匹配场景引用的HDR内容的外观或可见性，例如驾驶模拟器，尽管这些模型可以与我们的方法相结合。

我们的主要技术贡献是:

•计算本地显示自适应音调曲线的快速程序，使对比度失真最小化。

•噪声感知音调曲线自适应图像噪声。

•滤波器设计的基本细节层分解的音调映射，导致一个快速的边缘停止非线性扩散近似细节增强没有振铃伪影。

•集成的实时视频色调映射解决方案，结合了新颖的噪声控制和显示适应性，在显示限制的情况下产生高对比度和详细的视频。

为了证明我们的方法的实用性，我们使用一系列具有挑战性的输入hdr视频序列来评估我们的TMO，并将我们的算法与现有的最先进的算法进行比较。我们还展示了如何将我们的噪声感知TMO用于未处理的噪声输入数据，以及如何使用最先进的去噪算法来改善处理后的输入数据的视觉质量。最后，我们还展示了显示自适应特征的能力，以及细节提取技术提供的艺术自由度。

2 Related work

Eilertsen等人[2013]评估并分析了11个视频色调映射算子。他们将它们分为模拟视觉系统的特性和局限性的——视觉系统模拟器(VSS)，试图保留原始场景外观的——场景再现操作器(SRP)，以及产生主观偏好图像的——最佳主观质量操作器(BSQ)。当使用默认参数时，我们的解决方案满足了SRP操作符的意图，但也提供了对对比度增强的控制，以达到BSQ操作符的目标。Eilertsen等人得出结论，所有被测试的操作员都容易引入诸如闪烁、鬼影、放大的噪声水平或缺乏细节等伪影，我们在建议的解决方案中解决了这些问题。

时间伪影，如闪烁，是许多视频tmo的一个重要问题。对于时间稳定性，全局算子通常依赖于音调曲线随时间的滤波[Mantiuk et al. 2008]，或TMO参数[?;?]。虽然这允许有效的实现，但对于本地tmo，情况更加复杂，在本地级别上，音调复制可能随着时间的推移而不连贯地变化。为了克服这些问题并降低噪声，许多局部算子在像素域使用时空滤波器，[Ledda et al. 2004;Bennett and McMillan 2005;Van Hateren 2006]，或沿着运动路径，[Aydin et al. 2014]。然而，这些过滤器的计算成本通常很高，并且不能很好地用于实时处理，而实时处理是我们TMO的一个关键目标。另一个问题是，它们容易引入鬼影伪影，或者在光流失败的地方可能不能很好地工作。与这些方法相比，我们依赖于一种新的空间滤波器，专门设计用于鲁棒的基本细节层分解，因此音调再现的空间变化随时间的推移是连贯的。

所提出的空间滤波器与许多现有的边缘保持滤波器相当[Perona和Malik 1990;Aurich and Weule 1995;Tomasi and Manduchi 1998;Aubry et al. 2014]。然而，与那些相反，我们的过滤器是为了在色调映射场景中最好地提取细节而设计的，而不是保持边缘的平滑或去噪。它还产生了一个简单的实现，非常适合并行硬件体系结构。

在整篇论文中，我们使用了来自[Froehlich et al. 2014]公开可用数据库的hdr视频输入。该数据集适用于色调映射算子的评估，因为它包含在现实场景中捕获的高质量镜头。

3 Algorithm design and overview

我们的TMO，如图2所示，是围绕三个基本要求构建的:噪声感知、时间鲁棒性和显示适应性。两个基本构件是3.1节中描述的噪声模型和3.2节中描述的逆显示模型。如图所示，我们的算法主要分为三个部分:

Edge-stopping spatial filter

每个输入HDR帧I首先被转换到log域，l = log(I)，并被分解为描述图像亮度变化的基层b和描述局部特征的细节层d。第5节讨论了用于鲁棒基细节层分解的滤波器设计。

Local tone curves

然后使用一组分布在图像上的局部色调曲线压缩基础层b的动态范围。每个音调曲线从输入的亮度范围映射到显示器上可实现的亮度范围，如第3.2节中讨论的显示模型所解释的那样。音调曲线最大限度地减少了由映射引入的对比度失真，同时控制噪声的可见性，它们的形状随着时间的推移被过滤，以避免时间闪烁。在第4节中讨论了噪声感知最小对比度失真色调映射。

Noise-aware control over image details

我们的TMO允许用户通过缩放细节层d来保留(SRP)或艺术地增强局部对比度和细节(BSQ)。处理后的细节层dout中的噪声可见性通过考虑原始基础层b和色调映射的基础层btm的噪声特性来控制。这将在第6节中详细描述。

然后将色调映射的基础层(btm)和处理过的细节层(dout)结合起来，使用标准技术从输入中恢复颜色[Mantiuk等人，2009]，并使用逆显示模型将比色值转换为像素。

3.1 Noise in tone mapping

使用现代去噪算法可以大大降低视频序列中的可见噪声[Maggioni et al. 2012;Aydin et al. 2014]。然而，过于强烈的去噪会引入模糊和降低图像清晰度。由于缺乏清晰度是比噪声更难以容忍的伪影，常见的视频处理实践是采用保守的降噪，然后在手动颜色分级步骤中隐藏剩余的噪声。在这里，我们提出了如何通过噪声感知音调映射来自动化后一步。我们方法的输入要么是(保守地)去噪的视频序列，要么是带噪的视频序列。结果是一个视频，其中噪声的可见性通过考虑噪声特性及其在特定显示设备上的可见性来降低。

Figure 3: 许多高端相机提供的噪声水平低于视觉系统可感知的对比度(红线低于蓝线)。然而，在色调映射之后，当图像变得更亮，细节和对比度增强时，噪声通常被推入可见范围(品红色线)。因此，控制噪声的可见性是高质量色调映射的关键组成部分。洋红色虚线表示目标显示器的动态范围。

图3说明了这个问题。高端相机提供大光圈和大传感器，通常比视觉系统产生更低的噪音水平。如图3所示，摄像机噪声的红线低于HVS阈值的蓝线。然而，当图像为显示器进行色调映射时，绝对亮度水平增加，精细对比度细节增强，从而产生具有良好可见噪声(品红色线)的图像。我们方法的目标是保持噪声水平低于能见度阈值。我们的方法可以与现有的去噪方法结合使用，使去噪滤波器去除最讨厌的高幅值噪声，并通过我们的噪声感知处理隐藏低幅值噪声。

我们在两点上控制噪声可见性:当计算音调曲线时(第4.1节)，以及当保留局部对比度和细节时(第6节)。为了控制噪声，我们需要对噪声的大小和可见性阈值进行建模。数码相机中噪声的变化可以建模为光强的函数[Foi et al. 2008]:

其中a和b是负责噪声的信号依赖(光子噪声)和信号独立(读出噪声)分量的参数。参数可以从输入图像中估计[Foi et al. 2008]，也可以由相机提供，或者手动调整。

为了考虑视觉系统对光的非线性敏感性(韦伯-费希纳定律)，我们将在对数域内操作。对数域中的噪声幅度可近似为:

这样的噪声幅度在图3中绘制为红线。可见性阈值的保守估计，如图3中的蓝线所示，由特定显示亮度水平Ld的对比灵敏度函数(CSF)的峰值给出。我们使用[Mantiuk et al. 2011]中的CSF，并将迈克尔逊对比度的检测阈值(Ct(Ld) = 1/CSF(Ld))转换为对数对比度，以获得对数亮度的最小可检测差异:

3.2 Display adaptivity

任何色调映射操作符的主要约束是可以在目标显示设备上显示的可用亮度范围。这样的范围不仅取决于特定的显示技术，如OLED或LCD，还取决于环境光水平。一部分环境光被显示屏反射，从而降低了可用的显示对比度。我们的操作器被设计为根据当前环境光水平进行调整，并产生最佳图像，这可以很容易地用光传感器测量。

可用的亮度范围可以使用标准的Gamma-Gain-Offset显示模型[Berns 1996]进行建模，并对环境光进行修改[Mantiuk et al. 2008]:

其中Ld是显示亮度或亮度(从显示表面测量)，L '是像素值(0-1)，γ是显示伽马值(通常接近2.2)，Lmax是峰值显示亮度(办公室显示器约为200 cd/m2)。Lblack是显示黑色电平，它是在完全黑暗的房间中显示的黑色像素的亮度(LCD显示器通常为0.1 ~ 0.8 cd/m2)。Lrefl是显示表面反射的环境光。对于非光滑屏幕，这可以近似为:

其中Eamb是以勒克斯单位给出的环境照度，k是显示面板的反射率(LCD显示器为0.5-1%)。

4 Minimum contrast distortion tone-curve

将像素值从输入亮度映射到显示器亮度的色调曲线是将图像对比度降低到可显示范围的主要工具。传统摄影中使用的色调曲线呈s形，以保持中色调的对比度为代价，在低色调和高色调处产生更高的失真。如果固定形状的色调曲线是模拟电影的必要条件，那么数字处理允许每个图像甚至图像区域的色调曲线变化。本节展示了这种局部色调曲线的推导，它可以最大限度地减少对比度失真并快速计算。

为了使问题易于分析处理，我们将音调曲线参数化为带有节点(lk, vk)的分段线性非递减函数，如图4所示。L为输入的对数亮度，v为显示值的对数亮度。两个节点(lk, vk)和(lk+1, vk+1)之间的每个段k在对数亮度值中具有恒定的宽度，等于δ(在我们的实现中为0.2)。为简单起见，在显示器上可以显示的最大亮度值固定为0，最小亮度值随有效显示动态范围r的变化而变化。使用式4中的显示模型，可以计算当前环境光照水平下的r为

Expected contrast distortion

可以说，由于色调映射引起的最相关的失真是我们想要最小化的图像对比度的变化。让我们用符号G表示输入图像的对比度，用符号表示色调映射后的对比度。在最简单的情况下，对比度G可以是两个相邻像素之间的差异(我们将展示推导推广到一系列对比度定义)。对于每个输入对数亮度水平l，我们可以将对比度值p(G|l)的某个分布关联起来。因此，我们可以将色调映射引起的对比度失真的期望值表示为:

Minimum contrast distortion

由于方程中的和超过20-30段，因此仅给定图像直方图，就可以用最小的计算开销找到音调曲线。与更复杂的指标(例如[Mantiuk et al. 2008]中使用的指标)相比，复杂性大大降低，其中需要构建多尺度金字塔，并需要解决一系列二次规划问题。与[Mantiuk et al. 2008]相反，我们使用简单的L2范数而不是视觉模型来测量对比度失真。然而，考虑到音调曲线的有限灵活性，复杂的视觉模型的好处是微不足道的。

4.1 Noise- and content-aware tone-curve

在前面的章节中，我们假设概率p(lk)对应于图像中给定强度值的频率(取自图像直方图)。然而，这并不是图像中特定强度水平重要性的理想估计。例如，如果图像的很大一部分包含均匀表面，例如白墙，则由于直方图中产生的峰值，相应的p(lk)值将会很高。由于平面通常不是图像中最突出的部分，因此为它们分配高重要性和陡峭的色调曲线几乎没有意义。同样，夜景通常包含大量噪音和少量细节的大区域。为这些区域分配动态范围会导致噪声放大，效果不佳。

为了解决这个问题，我们计算p(lk)值，同时考虑图像内容和噪声水平，对对比度变化高于噪声水平的区域赋予更高的重要性。首先，我们将局部对比度估计为高斯窗口内计算的标准偏差:

其中*是卷积算子，gσ是一个标准差为σ(在我们的实现中为3)的高斯核。然后，我们将概率计算为直方图，该直方图由像素位置的对比度值加权，对比度值大于噪声水平n(公式2)。正式地，这可以表示为:

S是局部对比度高于噪声水平的所有像素的集合，Bk是S的子集，其中包含特定直方图bin k中的像素。在实践中，这种方法将受传感器读出噪声影响的暗区域移向暗色调，使其不那么可见。它还避免了在大的均匀区域中过度拉伸的对比度。

Tone priority

上面提出的噪声感知图像对比度度量可以看作是图像显著性的简单度量。如果这种简单的显著性测量方法还不够，我们的方法可以很容易地扩展到更高级的测量方法，例如，为检测到的面部或肤色分配更高的显著性。我们还发现包含音调优先级参数很有用，该参数通过根据输入对数亮度对p(lk)值进行加权来平衡高音调或低音调的重要性。这为生成的图像提供了一个额外的创造性控制参数。

4.2 Temporal consistency

图像统计量p(lk)在连续视频帧之间变化很快。这可能会导致令人不安的闪烁伪影，参见[Eilertsen et al. 2013]。在基本细节层分解中，或者在帧之间的色调曲线快速变化时，可能会引入闪烁伪影。

由于空间滤波器(第5节)使用平滑的边缘停止功能组合了一组低通滤波图像，因此不会随着时间的推移引入不一致性。因此，音调曲线是我们的算子中唯一可以引入时间波动的组成部分，随着时间的推移，为了防止这种行为，这也是微不足道的。

色调曲线的过滤作用于视觉上最相关的数据，即节点位置vk。通过与技术美术师的讨论，我们发现过滤器的选择既取决于色调映射的意图/艺术目标，也取决于输入数据。我们的实现是灵活的，因为它允许交换音调曲线滤波器。在大多数情况下，我们使用3分接低通IIR滤波器，截止频率为0.5 Hz。选择这个频率是为了最小化可见闪烁，参见[Mantiuk et al. 2008]。IIR滤波器实现起来很简单，并且产生的滤波器尺寸比FIR滤波器小。在某些情况下，我们还使用时间边停止滤波器，以保持尖锐的时间过渡。然而，在试验这些(和其他)过滤器时，我们没有观察到明显的改进，除非在极端的时间变化情况下。时间滤波器的选择及其对像素响应的影响在补充资料中进行了详细的讨论和说明。

需要注意的是，时间滤波可能不能保持物体亮度的一致性[Boitard et al. 2012]，一些物体的亮度可能会随着时间的推移而逐渐改变。然而，保留亮度会大大降低可实现的图像对比度，并且需要对整个视频序列进行预处理。我们的方法权衡了物体亮度一致性，以获得更好的对比度再现和实时在线处理。显然，可以通过使用较低的截止频率来增强亮度一致性。我们的音调曲线最小化了每帧的对比度失真，而时间滤波器最小化了时域的闪烁失真。时间滤波器可能会从最佳点提取每帧的解决方案，并导致该帧的解决方案稍微差一些，但对整个视频剪辑的解决方案更好。尽管有可能为整个视频序列找到一组最优的音调曲线，但这将使该方法不适合实时处理，并且不会带来质量的提高。

4.3 Local tone-curves

由于视觉系统能够适应局部场景区域，因此它能够感知大范围的亮度。这种空间局部适应的确切机制和空间范围仍未得到很好的理解，但有充分的证据表明，在整个视野中，局部和全局都汇集了信息，例如在进行亮度判断时[Allred et al. 2012]。受视觉系统局部和全局处理的启发，我们计算并应用不同的色调曲线到不同的图像区域。如[Reinhard and Devlin 2005]所示，局部自适应色调曲线可以显著提高图像细节的可见性，而不会引入任何明显的伪影。图5显示了使用全局和局部音调曲线生成的框架。

我们将图像分成5个视觉度的正方形(从45厘米的角度看15英寸的全高清显示器大约230像素)，这大约是视网膜中央窝的直径。然后，为每个贴图t分别计算重要性值pt(lk)。这种局部亮度-重要性统计不能直接用于计算局部色调曲线，因为它包含在特定贴图中缺失但存在于图像中的亮度水平的0值。这导致了高度局部适应的色调曲线，这些曲线在图像中如此不同，以至于它们导致了可见的色调不连续性。出于这个原因，我们以10%全局和90%局部的比例线性混合整幅图像的每片pt(lk)值和全局p(lk)，然后计算局部色调曲线。为了将局部色调曲线应用于图像，在相邻的贴图之间插入色调曲线值，这样就可以执行3D查找，而不是在单个全局色调曲线的情况下执行典型的1D查找。每个局部音调曲线需要使用前一节中介绍的IIR滤波器随着时间的推移独立地进行过滤。请注意，局部色调曲线的计算开销是最小的，因为最昂贵的操作，即为每个贴图计算p(lk)，所花费的时间几乎与为整个图像计算p(lk)值的时间相同。

4.4 Comparison with other methods

使用直方图来计算色调曲线可能看起来类似于直方图均衡化，直方图均衡化是一种流行的图像增强技术。然而，我们将表明，这两种方法的目标和结果是非常不同的。

如[Mai et al. 2011]所示，直方图均衡化相当于按公式分配音调曲线斜率:

鉴于此，我们可以比较图6中我们的方法的斜率分配(蓝线，公式14)和直方图均衡化(红线)。该图显示了如何根据相应亮度水平(或bin)的概率p(lk)来分配色调曲线的斜率。虽然我们的最小对比度失真方法(蓝线)的斜率从未超过1的值(对应于未失真的对比度)，直方图均衡化试图将最高对比度分配给高概率p(lk)的片段。在附录B中，我们展示了音调曲线斜率与概率值p(lk)呈指数关系，将非常高的斜率分配给具有高概率的箱子。这是直方图均衡化倾向于过度增强均匀像素值区域的原因之一，这会导致概率值p(lk)很高。Larson et al. [Ward Larson et al. 1997]通过将最大概率p(lk)固定到阈值与强度函数确定的值来解决这个问题。然而，这是一种特别的方法，不能确保对比度失真最小化。

我们的公式也类似于为向后兼容HDR图像和视频编码而导出的最佳色调曲线[Mai et al. 2011]，如图6中的虚线所示。这种方法在对比度增强方面不如直方图均衡化那么激进，但仍然会提高对比度，而不是保持对比度，因为这会在LDR层的反色调映射后降低编码错误。

5 Filter design for tone mapping

基础层和细节层分解(图2中的b和d)是在色调映射中保持局部对比度的常用技术。使用保持边缘的低通滤波器获得的基础层b使用音调曲线进行压缩，并且保留甚至增强细节层d。

分解中最重要的方面是滤波方法的选择。以前的tmo，如[Eilertsen等人，2013]的概述，主要依赖于经典的图像滤波器设计，如降噪。基本细节层分解的常用选择是双边滤波器[Aurich和Weule 1995;Tomasi和Manduchi 1998]，主要是由于它的简单性。然而，一个问题是，经典图像过滤器的意图与我们这里的目标细节提取之间存在根本的差异。首先，与噪声相比，图像细节在更大的空间尺度上被发现，即细节提取滤波器需要在空间和强度域上有很大的支持，而不会引入可见的伪影。其次，这里的最终结果是基础层b和细节层d，而不是过滤后的图像。细节层对滤波伪影非常敏感，其中沿边缘的行为非常关键。即使是小的伪影(在普通的图像滤波中可能是看不见的)在色调映射后也会在视觉上造成干扰，特别是对于视频。

在附录C中，我们说明了为什么双边滤波器不能正确地重建平滑边缘的底层信号(基础层)，以及这对细节层分离的影响。我们在TMO的滤波器构建中使用了这些观测结果，我们首先将双边滤波器与各向异性扩散联系起来[Perona and Malik 1990]，并从那里推导出一个专门为基本细节层分解而设计的有效滤波器。

5.1 Filter construction

图像滤波的扩散操作作为传导过程进行，其中像素值I(p)根据扩散PDE随时间t传播到相邻的像素值:

如果wr(p, t) = c是常数，则可以简化为各向同性热扩散方程∂I/∂t = c∆I。在非线性扩散中，利用图像梯度大小作为停止准则，wr(||∇I(p)||)，将扩散约束在均匀的图像区域，从而保留边缘。在图像滤波中，这是通过离散时域来逼近的，并通过自适应平滑过程中迭代计算每个像素p处的流入V。对于第k + 1次迭代，这可以描述为:

为了保持高对比度结构，权重基于空间域和强度域的距离。与此相反，双边过滤器在单个迭代中运行，使用更大的邻域进行加权平均值。如[Durand and Dorsey 2002]所述，0阶各向异性扩散可以通过更大的空间支撑进行扩展，以允许连接到双边滤波器

其中，α为扩散速率，对于双边滤波器可以解释为归一化α = 1/  wswr。使用不同的邻域Ω、空间权值ws和强度权值wr，可以描述一系列不同的滤波器。对于各向异性扩散和双边滤波器，这些函数如表1所示。为了保持低复杂性和避免人工制品，我们采用了一种各向同性的方法:

其中∇I(p)是像素位置p处的图像梯度。通过迭代应用线性滤波器可以非常快速地评估该滤波器，该滤波器使用逐像素边缘停止函数wr进行加权。由于各向同性核在p周围均匀分布样本，因此它产生无偏结果，没有过度锐化问题。为了保留边缘，核大小适应图像结构，这意味着沿陡峭(高梯度)边缘使用较少数量的样本。然而，由于空间滤波的目的是基本细节分离，让细节沿着边缘不那么明显比冒伪影的风险更安全(见图9)。此外，由于边缘本身在感知上占主导地位，我们认为，与不正确和/或暂时不连贯的边缘相比，纹理细节可能丢失的干扰要小得多。

沿边缘的滤波器行为由边缘停止函数和计算梯度估计的方式决定。我们观察到，各向同性核本质上需要一个保守的停止函数，以便传播流接近边缘，而不是跨越边缘。为了做到这一点，我们使用了Tukey的双权重[Black et al. 1998]，见表1，它保守地阻止扩散在等于或大于λ的梯度量级。此外，我们使用鲁棒梯度公式表示为像素p = (x, y)周围的局部邻域Ωp上的线性斜坡，根据:

式中，为顶棚操作。与使用高斯差分法(DoG)相比，使用这个公式，扩散在边缘处停止得更快。将公式26与公式27结合使用时，当像素点距离高对比度边缘的距离小于邻域半径Ω时，流动完全停止。为了在确保快速扩散的同时使过滤靠近边缘，我们迭代地改变Ω的大小，从一个非常小的核开始，随着扩散的进行增加它的半径。Ω的大小不同，因此N次迭代后过滤器的净大小为Nσ，其中σ是内核的初始大小。即qPN k=1 σk 2 = Nσ。

最后，我们使用到原始图像的距离来约束扩散，以防止重建中可能出现的极端值(见算法1中的第7行)。滤波器设计的最终公式如表1所示，算法1中给出了概述。包含设置迭代次数N的动机的收敛分析可以在补充材料中找到。对于文中所有的例子，我们都使用了N = 12次迭代。

5.2 Comparison with other methods

为了显示不同低通边阻滤波器的行为，并将它们与我们的快速细节提取扩散滤波器联系起来，我们首先使用图8中的一维信号来说明这一点。输入，见8a，是一个信号(蓝色)，细节(绿色)通过噪声函数添加。我们将我们的局部细节提取扩散与经典的双边滤波器(BF)和各向异性扩散(AD)、三边滤波器(TF) [Choudhury和Tumblin 2003]以及当前最先进的滤波器快速局部拉普拉斯(FLL) [Aubry等人，2014]进行了比较。在左边的阶跃边缘，一个分段常数假设成立，0阶过滤器没有问题。然而，对于右侧的光滑边缘，BF显示带状，AD容易出现阶梯伪影。TF、FLL和我们的方法不生成可见的工件。然而，与我们的方法相比，TF和FLL在计算上都很昂贵。另一个重要的区别是，我们的滤波器是专门为色调映射的细节提取而设计的，而不会引入伪影，而例如，FLL在平滑的强度转换中显示出产生假边缘的倾向。

最后，在图9中，我们在本地色调映射的上下文中评估了我们的滤波器设计。第4节中描述的色调曲线已应用于过滤后的图像，然后添加回提取的细节，缩放以便于在打印中进行比较。展示了快速局部拉普拉斯滤波(FLL)，以展示我们的方法与当前最先进的滤波的区别。此外，图中展示了[Aydin et al. 2014]引入的用于细节提取的渗透性滤波器(PF)。这个过滤器对于轻微到中等程度的细节增强效果很好，但是对于更强的操作，工件是清晰可见的。从这些例子中可以明显看出，最好限制边缘周围的过滤，而不是冒着由经典的0阶滤波器(BF和AD)显示的工件的风险。与FLL和PF相比，我们的快速细节提取扩散可能会丢失一些边缘的少量细节。然而，在色调映射的情况下，这是首选的行为，因为它确保了鲁棒的细节增强，而其他滤波器可能会在平滑的图像过渡中引入人工边缘(环形伪影)和时间不一致(参见图9中衬衫和手指的边缘)。

为了显示过滤器的性能，处理时间也显示在图9中。这些都与我们的方法相关，并且所有报告Matlab实现的时间(双边网格加速方案用于BF [Chen et al. 2007])。这可以作为非并行化代码性能的简单指示器，以反映计算的复杂性。然而，应该注意的是，不同的方法有不同的并行化潜力，例如我们的细节提取扩散是专门为此目的设计的，并且在GPU上显示出大约2个数量级的性能提升。

6 Noise-aware local contrast control

一旦基础层与局部色调曲线进行了色调映射，它就可以与细节层重新组合。如果细节层保持不变，色调映射将保留局部对比度。如果细节层值被放大，图像细节被提升，当与高质量的止边空间滤波器相结合时，可以产生吸引人的外观。然而，增强图像细节有放大噪声的风险。噪声感知的色调曲线(第4.1节)可以隐藏较暗色调中的一些噪声，特别是传感器读出的噪声，但它不能有效地隐藏较亮图像部分的噪声。因此，我们的细节层d相对于显示图像中噪声的可见性进行了调制:

其中，V()为公式3中的可见度阈值，n()为对数亮度域的噪声水平(公式2)。注意，可见度是根据色调曲线btm产生的显示对数亮度来评估的，而噪声则取决于输入图像的亮度。E是一个可选的局部对比度增强参数，它可以增强细节，从而实现创造性控制。式中“min”项在噪声幅值高于检测阈值时有效降低对比度，对应图3中噪声幅值洋红色线高于可见阈值的情况，如图蓝线所示。

7 Results and applications

在本节中，我们从视觉质量、性能和特性方面概述了我们的色调映射算子。我们还讨论了算法的具体功能，包括噪声感知、对显示和观看条件的适应以及细节增强，并演示了我们的TMO如何应用于一系列常见的成像应用。更多的结果也包括在补充视频和文件中。

7.1 Results and evaluation

为了评估我们的方法在视觉质量方面的表现，我们进行了一个主观评价，作为定性分析实验。实验将我们的TMO与六种最先进的视频色调映射方法进行了比较;两个全局算子:失适应TMO [Irawan等，2005]和显示自适应TMO [Mantiuk等，2008]，以及四个局部算子:虚拟暴露TMO [Bennett and McMillan 2005]，时间相干TMO [Boitard等，2012]，区域时间相干TMO [Boitard等，2014]和运动路径滤波TMO [Aydin等，2014]。评价以评分实验的形式进行，让10名有图像处理经验的用户按随机顺序观看一组视频片段。这些数据取自[Froehlich et al. 2014]，并使用七个操作符对每个音调进行了映射。用户被要求根据以下属性对每个片段进行评分:整体亮度、整体对比度、整体色彩饱和度、时间颜色一致性、时间闪烁、重影、过度噪声以及细节再现，以评估局部水平的对比度。对于不同的序列，对观察器进行平均的评级的最终结果如图10所示。总的来说，很明显，所提出的噪声感知TMO始终能够在没有可见伪影的情况下，在适当的水平上显示图像特征。完整的实验和数据分析在补充材料中有详细的描述。

图11显示了我们的算法与来自用户评估的两个最先进的tmo之间的可视化比较的代表性示例。下图将我们的方法与[Eilertsen et al. 2013]、显示自适应TMO [Mantiuk et al. 2008]、以及概念上与我们的方法最相似的TMO(虚拟暴露TMO) [Bennett and McMillan 2005]中的评估中表现最好的TMO进行了比较。放大率分别显示了低亮度和高亮度区域的色调映射示例。基于全局处理的显示自适应TMO在压缩场景大动态范围方面存在问题，导致画面过于明亮，局部细节和对比度丢失。虚拟曝光TMO依赖于双边滤波，在某些情况下会导致沿边缘的环形伪影。随着时间的推移调整色调曲线也存在问题，导致令人不安的时间闪烁(见图10)。与这些TMOs相比，我们的方法可以很好地处理场景中的动态范围，并保留局部细节和对比度，而不会产生任何伪影。

图12显示了[Aydin et al. 2014]使用不同音调曲线的方法的结果。在12a和12b中，音调曲线与原始文章中使用的相同(即来自[Drago等人2003]的对数缩放和对数映射)，而在12c中，我们使用第4节中描述的本地音调曲线。尽管Aydin等人采用的整体滤波在可见伪影方面表现出良好的性能(见图10)，但并未考虑实际的音调再现和音调曲线的时间处理。从图中可以清楚地看出，我们在保留局部对比度的同时实现了更好的动态范围压缩。此外，所使用的光流滤波可能不能很好地处理复杂的图像转换(参见图10中铁匠锤击序列中的噪声水平)。最后，由于滤波过程，该方法计算成本高，不适合实时应用。

7.2 Performance

算法中的所有步骤都可以并行计算，适合GPU实现。空间滤波采用可分离低通滤波器以及水平梯度和垂直梯度滤波器。这意味着我们只需要在扩散过程的每次迭代中运行四个1D滤波器核。局部直方图的计算和音调曲线的时域滤波是并行的。TMO的所有部分都使用CUDA 6.5实现。使用现代显卡，完整的TMO管道在全高清材料上实时运行。表2显示了在GeForce GTX 980上运行720p和1080p高清输入时我们算法的性能。

7.3 Applications and features

在本节中，我们将演示算法的一些特性，回顾视频色调映射解决方案的一组应用场景，并演示示例结果。

Video postprocessing

当视频需要色彩分级时，我们的方法既提供高质量的自动调整，又提供一系列用于风格化的创造性对比度控制。特别吸引人的是我们的细节增强功能，它可以保持或大大增加细节可见性，而不会出现明显的伪影(图13顶部)。如图13左上角和中上方所示，将全局色调映射的结果与保留细节层的原始对比度的图像进行比较。音调优先级调整允许在较暗和较亮的音调之间转移焦点，同时最大限度地减少失真，例如剪切，而不需要控制音调曲线的确切形状(图13底部)。因为操作可以在实时帧率下运行，所以当调整特定参数时，可以在全分辨率下提供视觉反馈。由于我们专注于对比而不解决颜色问题，我们的方法可以与现有的解决方案相结合，以解决颜色分级的各个方面。

In-camera processing stacks

传感器捕获的图像需要经过一系列操作，如去马赛克、去噪和锐化，然后才能在数字取景器上显示或存储为(JPEG)图像或(MPEG)电影。该链中的一个关键操作是色调映射，其中传感器的较大动态范围被映射到由显示器或输出图像文件格式支持的较小动态范围。我们的解决方案非常适合这一目的，因为它提供了自动色调映射和细节增强，适应相机噪声水平。图1和图14显示了使用和不使用噪声感知处理的音调映射结果。为了降低噪声可见性，在噪声图像区域减少增强，并且将大部分传感器读出噪声隐藏在较暗的图像色调中。但是，如果需要预览噪声水平，例如在数字取景器中，可以禁用噪声感知处理，如图1和14的左上角所示。为了强调噪声感知的音调再现实际上并不与去噪相竞争，图14还显示了应用最先进的去噪方法(V-BM4D， [Maggioni et al. 2012])的结果。在音调映射之前，在日志域中执行去噪步骤。如果没有噪声感知能力，去噪产生的伪影是清晰可见的，而当这两种方法互补时，这些伪影隐藏在图像的暗色调中。

Display algorithms for ambient light compensation

显示器的有效对比度很大程度上取决于环境光照水平。当移动设备在阳光下使用时，由于屏幕反射的光线降低了对比度，因此发射显示器(LCD, OLED)几乎难以辨认。通常的补救措施是提高屏幕亮度，但这大大增加了功耗。另一种方法是对显示在显示器上的内容进行色调映射，以适应特定观看条件下的有效图像对比度。如图15所示，其中顶部行显示未调整的图像，底部行显示已调整的图像。在后一种情况下，内容显然更明显，整体质量也更好。与[Mantiuk et al. 2008]提出的显示自适应色调映射(中行)相比，我们的方法由于进行了局部处理，可以获得更好的对比度和细节可见性。

8 Conclusion

本文描述了一种新的视频色调映射解决方案，结合了一套新的方法和现有方法没有提供的特征。我们的主要贡献之一是一种计算音调曲线的新技术，它可以最大限度地减少对比度失真。我们证明了一个快速计算这种音调曲线的公式可以从一个优化问题中推导出来，而不需要数值求解二次规划。与现有的特设方法(如直方图均衡化)相比，该公式解决了一个定义良好的最小化问题。局部色调曲线动态适应图像内容、噪声水平和显示能力，包括对环境光的补偿。第二个主要贡献是一种新的边缘停止滤波器，它被明确地设计用于保留和增强色调映射中的细节。它避免了软边缘上的过冲和响影，这是色调映射中使用的大多数滤波器的常见问题，特别是当需要细节增强时。由于该滤波器可以实现为迭代高斯模糊，它导致了一个有效的硬件实现。最后，我们将这两种技术结合在一个综合的视频色调映射算子中，该算子控制噪声的可见性并适应显示和环境光。

我们的方法仅限于两种特定的色调映射意图:场景再现和最佳主观质量。该方法不试图模仿视觉系统，例如通过添加眩光效果或模拟夜视。我们也不解决由色调映射引起的任何复杂的颜色问题，并依赖于现有的解决方案。更高质量的音调映射可以通过先进的去噪方法或通过分析电影序列的整个长度来实现。然而，这将消除我们方法的一个主要优点，即实时处理。

虽然色调映射通常被认为是一个高动态范围的问题，但在实践中它有着更广泛的应用领域。当显示器在高环境光水平下显示时，其有效对比度降低，即使是低动态范围的内容也可能受益于色调映射。一些移动设备已经采用了这种补偿算法。许多相机传感器捕捉到比显示器(或数码取景器)所能再现的更高的物理对比度。因此，色调映射是任何相机内处理堆栈的重要组成部分，即使是捕获单曝光(LDR)。最后，重要的是要认识到，在许多应用中，图像需要根据艺术家的愿望进行复制。在此类应用中使用的色调映射操作符需要提供创造性的控制参数，这些参数易于操作，并且可以通过实时视觉反馈进行探索。我们认为，提议的解决办法是第一个满足所有这些要求的办法。