Real-time noise-aware tone mapping阅读笔记

《Real-time noise-aware tone mapping》
G Eilertsen, RK Mantiuk, J Unger - ACM Transactions on Graphics (TOG), 2015 - dl.acm.org
文章链接

全文翻译（机翻+部分修改）

Abstract

许多应用需要实时高质量的视频色调映射，例如相机中的数字取景器、适应环境光的显示算法、相机处理、视频游戏渲染引擎和视频后处理。我们为这些应用提出了一个可行的解决方案，设计了一个视频色调映射解决方案，该解决方案控制噪声的可见性，适应显示和观看环境，最小化对比度失真，保留或增强图像细节，并且可以在传入序列上实时运行，而无需任何预处理。据我们所知，没有任何现有的解决方案提供所有这些功能。我们的新贡献是：计算局部显示自适应色调曲线的快速过程，该曲线可最小化对比度失真；无振铃伪影的快速细节增强方法；以及结合上述所有特征的集成视频色调映射解决方案。

关键词：色调映射、视频色调映射、高动态范围成像

1 Introduction

高动态范围（HDR）视频将为高端影院和消费级产品提供前所未有的观看体验。在对扩展的视觉逼真度和艺术自由度的需求的推动下，HDR技术目前进展非常迅速。在拍摄方面，我们看到了专业HDR相机系统的发展，如Arri Alexa XT和红色史诗巨龙，其动态范围扩展到14-16.5个f-stops，以及研究原型[Tocci et al.2011；Kronander et al.2013]展示了高达20-24个f-stops的动态范围。在制作方面，各大制片厂通过开发完全支持HDR的制作管道，将一套全新的创作工具交给艺术家们，以满足这一持续发展的趋势。在显示器方面，HDR技术也备受关注。制造商，例如Sim2，已经开始使用高对比度局部调光技术扩展动态范围，杜比视觉X-Trend dynamic range PRO最近已经发布。尽管在HDR视频管道的每一步（从捕获和处理到压缩和显示）都付出了巨大的努力，但一个重要的挑战仍然需要大幅改进：HDR视频的色调映射。

尽管需要稳健的视频色调映射，但现有算法往往达不到预期效果，因为它们往往会暴露或放大噪声，无法处理较大的对比度压缩，引入振铃、重影或时间闪烁[Eilertsen等人，2013]，不适应显示和观看条件，或者计算速度较慢。

我们提出了一种新的视频色调映射算子（TMO），它控制噪声的可见性，适应显示和观看环境，最小化对比度失真，保留或增强图像细节，并且可以在传入序列上实时运行，而无需任何预处理。我们色调映射的目的要么是在目标显示的约束条件下保持原始图像中的对比度，要么为对比度增强提供创造性的控制，并提供最终结果的实时全分辨率视觉反馈。我们不尝试匹配场景参考HDR内容中的外观或可见性，例如驾驶模拟器，尽管此类模型可以与我们的方法相结合。

我们的主要技术贡献是：

• 一种快速计算局部显示自适应色调曲线的程序，可最大限度地减少对比度失真。
• 对图像噪声自适应的噪声感知色调曲线。
• 用于色调映射的基本-细节层分解的滤波器设计，可实现快速边缘停止非线性扩散近似，从而实现细节增强，而不会产生振铃伪影。
• 一种集成的实时视频色调映射解决方案，它将新颖的噪声控制与显示自适应相结合，在显示受限的情况下生成高对比度和详细的视频。

为了证明我们的方法的有效性，我们使用一系列具有挑战性的输入HDR视频序列来评估我们的TMO，并将我们的算法与现有的最新技术进行比较。我们还展示了我们的噪声感知TMO如何用于未处理的噪声输入数据，以及如何提高使用最先进的去噪算法处理的输入数据的视觉质量。最后，我们还展示了显示自适应特征的能力，以及细节提取技术提供的艺术自由。

2 Related work

Eilertsen等人[2013]评估和分析了11个视频色调映射算子。他们将它们分为模拟视觉系统特性和局限性的视觉系统模拟器（VSS）、试图保持原始场景外观的视觉系统模拟器（SRP）和产生主观偏好图像的视觉系统模拟器（BSQ）。当与默认参数一起使用时，我们的解决方案满足了SRP操作符的意图，但也提供了对对比度增强的控制，以达到BSQ操作符的目标。Eilertsen等人得出的结论是，所有被测试的操作都容易引入伪影，如闪烁、重影、噪声放大或缺乏细节，我们在建议的解决方案中解决了这些问题。

对于许多视频TMO来说，闪烁等时间伪影是一个重要问题。对于时间稳定性，全局运算符通常依赖于随着色调曲线时间的推移进行滤波[Mantiuk等人，2008年]，或TMO参数[Pattanaik等人，2000年；Kiser等人，2012年]。虽然这允许有效的实现，但对于本地tmo来说情况更为复杂，其中色调再现可以在本地水平上随时间而非相干地改变。为了克服这些问题并减少噪声，许多本地运营商在像素域中采用时空滤波器，[Ledda等人，2004；贝内特和麦克米兰2005；Van Hateren，2006年），或沿着运动路径[Aydin等人，2014年]。然而，这些过滤器的计算成本通常很高，并且不适合实时处理，这是我们TMO的一个关键目标。另一个问题是，它们容易引入重影伪影，或者在光流失效的情况下可能无法正常工作。与这些方法不同的是，我们依赖于一种新的空间滤波器，该滤波器专门设计用于稳健的基础-细节层分解，因此色调再现中的空间变化随时间而一致。

提出的空间滤波器可与许多现有的边缘保留滤波器进行比较[Perona和Malik 1990；Aurich and Weule 1995；Tomasi和Manduchi 1998；Aubry等人，2014年]。然而，与之相反，我们的滤波器设计用于在色调映射场景中最佳提取细节，而不是边缘保持平滑或去噪。它还产生了一个简单的实现，非常适合于并行硬件架构。

在本文中，我们使用[Froehlich et al.2014]公开数据库中的HDR视频输入。此数据集适用于色调映射操作的评估，因为它包含在真实场景中捕获的高质量镜头。

3 Algorithm design and overview

我们的TMO（如图2所示）是围绕三个基本要求构建的：噪声感知、时间鲁棒性和显示自适应性。两个基本构件是第3.1节中描述的噪声模型和第3.2节中描述的反向显示模型。如图所示，我们的算法可分为三个主要部分：

边缘停止空间滤波器-每个输入HDR帧I首先转换为对数域l=对数（I），并分解为基本层b（描述图像上的亮度变化）和细节层d（描述局部特征）。第5节讨论了稳健基础-细节层分解的滤波器设计。

局部色调曲线-然后使用空间分布在图像上的一组局部色调曲线压缩基本层b的动态范围。每个色调曲线从输入的亮度范围映射到显示器上可实现的亮度范围，如第3.2节中讨论的显示模型所述。色调曲线在控制噪声可见性的同时最小化贴图引入的对比度失真，并且随着时间的推移对其形状进行过滤以避免时间闪烁。第4节讨论了噪声感知最小对比度失真色调映射。

对图像细节的噪声感知控制-我们的TMO允许用户通过缩放细节层d来保持（SRP）或艺术性地增强局部对比度和细节（BSQ）。通过考虑原始基本层b和色调贴图基本层btm的噪波特性，控制已处理细节层dout中噪波的可见性。第6节对此进行了详细描述。

然后组合色调映射的基本层btm和处理的细节层dout，使用标准技术从输入恢复颜色[Mantiuk等人，2009]，并使用反向显示模型将色度值转换为像素。

3.1 Noise in tone mapping

使用现代去噪算法可以大大降低视频序列中的可见噪声[Maggioni et al.2012；Aydin等人，2014年]。但是，过强的去噪会引入模糊并降低图像清晰度。由于锐度的缺乏是一种比噪声更难容忍的伪影，因此常见的视频处理实践是采用保守的降噪，然后在手动颜色分级步骤中隐藏剩余的噪声。在这里，我们提出了如何通过噪声感知色调映射实现后一步的自动化。我们方法的输入要么是（保守地）去噪的视频序列，要么是有噪声的视频序列。结果是一个视频，其中噪声的可见性通过考虑噪声特性及其在特定显示设备上的可见性而降低。

图3说明了这个问题。高端摄像机提供大光圈和大传感器，通常产生比视觉系统更低的噪音水平。如图3所示，摄像机噪声的红线低于HVS阈值的蓝线。然而，当为显示器对图像进行色调映射时，绝对亮度水平增加，精细对比度细节增强，从而产生具有良好可见噪声（品红色线）的图像。我们方法的目标是将噪声级保持在可见性阈值以下。我们的方法可以与现有的去噪方法结合使用，因此去噪滤波器可以去除最令人不快的高振幅噪声，而低振幅噪声则可以通过我们的噪声感知处理来隐藏。

我们在两个点控制噪声可见性：计算色调曲线时（第4.1节），以及保留局部对比度和细节时（第6节）。为了控制噪声，我们需要对噪声的大小和可见性阈值进行建模。数码相机中噪声的变化可以建模为光强I的函数[Foi等人，2008]：

其中a和b是负责噪声的信号相关（光子噪声）和信号无关（读出噪声）分量的参数。参数可以从输入图像估计[Foi等人，2008]，由摄像机提供，或手动调整。

为了说明视觉系统对光的非线性敏感性（韦伯-费希纳定律），我们将在对数域中操作。对数域中的噪声大小可近似为：