Unpaired Learning for High Dynamic Range Image Tone Mapping

Abstract

高动态范围 (HDR) 摄影变得越来越流行，并且可以通过 DSLR 和手机相机实现。 虽然深度神经网络 (DNN) 对图像处理的其他领域产生了巨大影响，但由于缺乏生成训练数据所需的地面实况解决方案的明确概念，它们在 HDR 色调映射中的使用受到限制。

在本文中，我们描述了一种新的色调映射方法，其独特目标是生成低动态范围 (LDR) 再现，从而最好地再现原生 LDR 图像的视觉特征。 这一目标使得能够使用基于不相关的 HDR 和 LDR 图像集的不配对对抗训练，这两种图像都广泛可用且易于获取。

为了在这个最低要求下实现有效的训练，我们引入了以下新步骤和组件：（i）范围归一化预处理，用于估计和应用不同级别的基于曲线的压缩，（ii）损失 保留输入内容，同时允许网络实现其目标，以及（iii）使用更简洁的判别器网络，旨在促进本地 LDR 拥有的低级属性的再现。

对所得网络的评估表明其能够生成逼真的无伪影色调映射图像，以及在不同图像保真度指数和视觉距离上的最先进的性能。

1. Introduction

高动态范围 (HDR) 摄影在过去几十年中在专业和非专业摄影师中获得了相当大的普及。 许多数码单反相机以及主流移动智能手机都具备 HDR 功能，能够提供 10 位和 12 位颜色深度。 在传统的低动态范围 (LDR) 设备上打印或显示这些图像需要色调映射步骤来降低其动态范围。 后者是一项不平凡的任务，需要投入大量的研究工作。

与许多图像处理和恢复任务不同，色调映射 HDR 图像没有真实的“解决方案”，多年来开发的不同方法针对不同的目标。 早期的方法使用全局色调再现曲线 (TRC)，与线性包围相比，它可以更好地利用输出动态范围 [5,24,47]。 这些曲线避免了曝光过度和曝光不足的像素，但它们的收缩性质导致局部对比度严重降低。

因此，更现代的方法将其目标集中在使用细节分离和增强技术来保留或增强局部对比度[6,8,9,33,35,39,48]。 这些方法可以生成高度详细的图像，但应用高水平的压缩在避免边缘相关伪影或实现平衡的对比度和整体照片般真实的外观方面仍然是一个挑战。

深度神经网络（DNN）通过使用包含真实示例的大型训练集，极大地影响了各种图像处理任务，例如超分辨率[20]和去模糊[43]。 在缺乏真实数据的情况下，HDR 色调映射的流行方法是使用现有的色调映射算子 (TMO) 生成一组图像标签，并使用图像质量指数缩小范围以获得最终的训练示例 [34 ，38]。

经过训练的网络预计会在每张图像上重现最佳可用结果，但不会超越其底层 TMO 算法的性能。 此外，质量指数使用奖励来满足少量的规律性，因此它们使训练偏向于过度拟合这些属性。 一些方法结合了手动监督，但它们在最终选择中仍然依赖于索引[55]，或者通过选择单个注释器来做出主观决定[30]。

在本文中，我们描述了一种新的基于 DNN 的 TMO，它经过训练可以生成具有原生 LDR 图像中视觉特征的图像。 通过将这一独特的目标制定为对抗性训练，我们用大量可用的高质量 LDR 图像取代了获取配对训练示例的需要。

无监督的对抗训练是一个相当微妙的过程，容易出现各种不稳定因素。 为了实现有效且成功的训练，我们的方法使用了以下几个新步骤和组件：（i）在将输入 HDR 图像输入到网络之前，我们通过范围压缩曲线映射其亮度，以减少其方差并固定其范围。 为了在任意来源的图像上训练和应用我们的方法，我们使用自适应压缩级别，我们根据每个输入图像估计该压缩级别。

此外，（ii）我们纳入了结构保留损失，该损失对亮度和对比度局部调整之外的变化进行惩罚。 该术语确保保留输入图像内容并且不会发生模式崩溃。

最后，(iii)我们描述了相对浅的鉴别器网络集合的使用，以便更好地匹配本地 LDR 图像的低级属性，并抑制困扰现有 TMO 的边缘相关伪影。 我们展示了我们的方法能够有效地生成具有高度挑战性的 HDR 场景的自然外观和无伪影的 LDR 渲染。 对基准 HDR 图像的定量评估揭示了其优于既定图像质量指标和视觉距离的性能。

2. Related Work

我们在此简要回顾多年来开发的不同色调映射方法，重点介绍最近基于 DNN 的方法。

Tone-Mapping Algorithms.

色调映射算法通常分为全局算子和局部算子。全局操作符根据像素的色调映射像素，并在整个图像上应用相同的曲线。值得注意的例子使用线性缩放[52]、非线性音调曲线[47]和对数音调曲线[21,5]。s形曲线类与人类视觉系统(HVS)[31]中的反应有关，并用于[36,41]。全局算子的主要优点是计算效率高、不存在过曝光和欠曝光像素。然而，他们的非局部推理导致了以失去对比为特征的次优局部处理。本地操作员通过根据图像的本地内容调整操作来解决这个缺点。一些作品[23,35,39]的运作源于HVS的局部适应机制。然而，使用空间不变滤波来分析图像会导致边缘周围产生不必要的光晕效应。为了减少这些影响，提出了不同类型的边缘感知滤波器，如各向异性扩散[48]、鲁棒平均[4]、双边滤波器[6]、加权最小二乘[8]、局部拉普拉斯金字塔[33]和多尺度分解[12]。Liang等人最近的另一项工作是使用10和l1稀疏度来分解图像细节。另一种方法通过在图像梯度的精细尺度下操作来解决这个问题[9,44]，并在对比度[28]的低通过度量上操作。这一研究成果显著提高了色调映射HDR图像的能力，同时保留了它们的局部对比度，并最大限度地减少了边缘相关的伪影。然而，如上所述，由于对比度不平衡，高压缩水平仍然可能导致伪影或折衷的真实感。

DNN-based Tone-Mapping.

尽管缺乏真实训练数据，但仍提出了许多利用dnn进行HDR色调映射的方法。Hou等人[17]训练一个网络，使用vgg感知损失[20]从其对数变换的亮度映射中再现输入HDR图像。该方法是在假设对数的压缩效应在此规范下持续存在并且给定有限的网络容量的情况下运行的。他们的网络必须针对每个输入图像进行专门的训练。Gharbi等人使用受双边网格启发的网络架构来执行给定输入和输出示例对的各种图像增强操作。这种方法的重点是实时再现增强。

最近的几种方法[3,30,32,34,38,55]使用条件gan[18,50]训练音调映射网络，以获得更抽象的匹配分布度量。然而，这个条件框架需要成对的输入HDR和相应的色调映射LDR。这些方法的不同之处在于它们获得配对数据的方式和它们使用的额外相似性损失。Patel等人[34]，Rana等人[38]和Cao等人[3]通过在每个HDR图像示例上应用色调映射算法列表并选择具有最高色调映射质量指数(TMQI)[53]的结果作为其基础真值标签来构建其训练对。Panetta等人[32]在一个有监督的低光照图像数据集上进行训练。这些方法使用额外的重建损失来帮助其对抗性训练的收敛，Rana等人和Cao等人使用VGGperception损失，Patel等人使用L1损失，Panetta等人将这种损失与梯度轮廓损失相结合，以更好地考虑边缘信息。Zhang et al.[55]通过为三名摄影师提供色调映射工具箱来结合人工监督，他们可以使用该工具箱为每个训练图像获得最引人注目的结果。然后使用TMQI得分最高的图像作为训练标签。Rico等人使用MIT-Adobe 5K数据集[2]，该数据集也是由多个(五个)摄影师制作的，这些摄影师被允许对每个训练图像应用不同的修饰操作。Rico等人最终只使用了其中一位专家的音调映射结果作为训练标签，他们也采用了基于vgg的重建损失。

与这些方法相比，我们通过训练我们的网络来重现本地LDR图像的视觉属性，从而减轻了对成对训练示例的需求。

最后让我们提一下关于弱光图像增强方法的工作行。虽然这些方法不是为处理HDR图像而设计的，但它们也有望操纵(增加)图像的亮度。由于这些操作对输入图像的影响要比HDR TMOs小得多，因此基于全局曲线的方法就足够了。事实上，Guo和Li等人使用深度学习预测了一种特定于图像的曲线映射。Wang等人[49]使用修图图像训练网络来处理曝光不足的图像，Jiang等人[19]为此目的训练无监督GAN。与我们的方法不同，这项工作没有采取任何特定的措施来允许它应用显著水平的动态范围压缩。

3. Method

我们首先简要概述新的音调映射管道，如图2所示，然后对其每个步骤进行详细描述。

与其他TMOs相似[9,41,48]，我们在YUV色彩空间中输入HDR的亮度通道Y上执行色调映射。

我们依靠对抗性训练的力量来匹配本地LDR图像的视觉外观。然而，这种类型的训练是一个微妙的过程，容易出现各种不稳定。为了确保稳定的训练，在我们的流水线的第一步，我们通过应用适当压缩的TRC将输入亮度Y映射到一个固定的范围。这个量是从Y的直方图和典型LDR亮度分布之间的差异估计出来的。

然后将生成的图像输入到色调映射网络N中，该网络经过训练以再现原生ldr的视觉属性，并消除由应用的TRC产生的偏差。这是通过对本地LDR图像数据集进行对抗性训练来实现的。我们通过将N的作用限制在亮度和对比度的局部变化上来保持输入图像的结构完整性，从而增强这个训练过程。这种损失也保证了不会发生模式崩溃。

最后，通过[41,48,9]中使用的过程恢复输出的彩色图像。

Adaptive Curve-Based Compression.

不同HDR图像的亮度范围可以相差几个数量级，这就需要应用不同级别的压缩。输入中的这种可变性似乎挑战了N并破坏了其训练的收敛性。因此，作为预处理步骤，我们使用全局曲线映射将输入亮度Y映射到固定范围。映射的范围从线性变换到严重的类对数曲线，取决于输入y所需的压缩水平

其中max(Y)指图像像素x的最大值，参数λ设置应用的压缩水平，ε = 0.05。结果亮度值被限制在[0,1]，而不管λ。

对数曲线通常用于音调再现，因为它们与人类视觉系统中发生的对光的压缩响应相似，即韦伯·费希纳定律b[5]。然而，我们注意到，与现有的基于trc的方法不同，我们使用了自适应压缩级别，在不同的图像上使用不同的λ值。在下面的3.1节中，我们将描述基于Y的直方图确定该参数的方法。

Natural Appearance.

正如Eq. 1中应用的那样，全局TRCs因无法产生足够水平的局部对比而臭名昭著。为了避免这个缺点以及色调映射再现中应该出现多少对比度的问题，我们采用的目标是生成最类似于捕获本地LDR场景的LDR图像的色调映射图像。

我们利用对抗性训练的非凡能力来重现给定示例图像的分布。更具体地说，我们训练一个判别器网络D来区分N(Yc)和一组高保真的本地LDR图像。通过训练N来愚弄D，它的输出得到了期望的外观。由此产生的N的显著影响如图3所示。

这种非配对训练方案减轻了收集或产生示例色调映射图像的需要。如前所述，与依赖现有音调映射算法的[34,38]不同，我们的训练使我们能够超越他们的表现。在无监督的情况下，我们的训练省去了[30,55]中假设的人工工作量，并且在客观图像保真度指标上得分更高。

鉴别器网络的结构在该方法的成功中起着核心作用。多层DCGAN架构原型[37]具有在多个尺度上关联特征和基于高级语义内容进行区分的能力。因此，这种架构经常用于训练对抗性生成网络。然而，我们不训练N从头开始构思新图像，而是专注于消除Yc中关于常规LDR图像的偏差。

由于这些差异与局部对比和边缘相关效果有关，我们通过将其深度限制为两个卷积层来将D的焦点设置为这一级别的图像建模。为了在多个空间尺度上识别差异，我们遵循[50]中的方法，并使用以下损失训练一组鉴别器网络，每个网络应用于不同的图像分辨率

请注意，LD和Lnatural都对应于最小二乘GAN训练损失b[29]。图2总结了与这些对抗性损失相关的计算图。

最后，图3显示了使用强大的深度dcgan风格鉴别器产生的与稳定性相关的工件，并与我们的浅层网络集成获得的更一致的结果进行了比较。

Structure Preservation.

将亮度动态范围映射到更窄的范围，不可避免地会改变物体的亮度。这个过程可以在不改变物体形状的情况下进行，就其边缘的位置和方向而言。然而，Eq. 3中的对抗性训练并不要求N(Yc)与输入Y或Yc具有任何相似性。为了避免这个陷阱以及训练过程中的任何模式崩溃，我们促进了输入Yc和输出N(Yc)图像中亮度归一化变化的同时发生。我们基于两个图像I和J的小图像块内的Pearson相关性推导出这个度量，通过

我们使用这一措施，通过最小化，在多个空间尺度上保持输入的内容和结构完整性

我们将其与Eq. 3中的对抗损失相结合来训练N。

最后，我们注意到结构相似指数(SSIM)[51]也在其patch的基础上分析图像。然而，它对斑块亮度和对比度的变化不是不变的。因此，该指数与我们的目的无关，因为 N(Yc) 预计会在亮度和对比度方面发生重大变化。

Color Reproduction.

在推理时，我们使用[9,41,48]中使用的公式恢复输出彩色图像。 具体来说，输入 HDR 图像的每个 RGB 颜色通道 Cin 被独立映射以通过 Cout = (Cin/Y)sN(Yc) 产生相应的输出通道。 我们使用默认的颜色饱和度参数 s = 0.5。

3.1. Compression Level Estimation

我们在方程1 中使用的 TRC。 允许我们根据每个图像所需的数量应用不同级别的压缩。 我们在此解释确定此级别的方法。

当从野外收集训练图像，或将我们的 TMO 应用到任意来源的图像时，与其亮度值比例相关的元数据可能不可用。 因此，根据最大 Y 值确定 λ 可能不可靠。 使用通过最大和最小输入亮度之间的比率计算的动态范围的选项可能不稳定，因为在这种情况下调节该估计的噪声水平不可用。

为了避免这些不确定性并在任意图像上训练和应用我们的方法，我们得出了以下 λ 估计值。 具体来说，由于 λ 控制式中的 TRC。 1，我们搜索使 Yc 最接近规范 LDR 图像行为的值。 由于 HDR 图像的亮度分布比 LDR 图像的亮度分布丰富得多，因此我们使用这些分布作为测量这种接近度的描述符。

形式上，我们搜索最小化以下交叉熵的 λ

其中，Yc的直方图用H(Yc)表示，是λ的函数，H(LDR)表示原生LDR图像的直方图。后者是通过平均来自DIV2k数据集[1]的900张高质量图像的直方图来计算的。我们使用了20个以l为索引的箱子。最后，我们使用随机搜索[45]来解决Eq. 6中的优化问题。

最后，在第 4.3 节中，我们报告了一项消融研究，该研究证明了与使用我们收集的用于训练和测试我们的方法的图像中的原始亮度值相比，该估计的贡献。

3.2. Implementation Details

Tone-mapping Network Architecture.

该网络由四个级别的U-Net架构[40]组成，每个级别包含两组3 × 3卷积、ReLU和maxpooling。过滤器的数量在每个级别上增加一倍，从32个过滤器开始。我们使用×2池化因子和卷积转置来解池化。在输出层，ReLU操作符被一个sigmoid替换。该体系结构如图4所示。

线性层(卷积)和ReLU算子的组合跨越了一个分段仿射变换的空间。为了表达更平滑的亮度映射，我们将通过跳过连接的激活与其平方根连接起来，如图4所示。这一步使激活维度加倍，但随后的卷积减少了这个维度。如第4.3节中消融研究所示，这些压缩点向变换提高了色调映射图像的照片真实感。

Discriminator Architecture.

我们使用三个独立的鉴别器，它们的权重不共享。这些网络具有由四层组成的相同架构。前两个是4 × 4的卷积层，分别有16个和32个滤波器，并使用LeakyReLU激活。两层都有×2跨步池。第三层使用无跨行1乘1卷积，然后是一个具有s型激活的输出全连接层。

Datasets.

我们在HDR+数据集[15]的HDR图像上训练网络，该数据集包含不同光照条件下的室内和室外场景。我们使用该数据集中的1000张图像进行训练，另外1000张图像用于测试。每个图像被裁剪和重新缩放，以提供两个256 × 256的图像。用于Eq. 2中对抗损失的原生LDR图像取自DIV2k数据集[1]，该数据集包含1000张高质量图像。我们将这个数据集随机分成两部分进行训练和测试。在这里，我们通过将每个图像裁剪成两个，并将它们重新缩放到256 × 256像素来增强每个集合。

Training Details.

我们使用Pytorch框架实现我们的模型，并使用Adam优化器在单个GeForce GTX1080Ti GPU上对其进行训练，N的学习率为10−4,D的学习率为×1.5。我们预训练D区分Yc和LDR图像50个epoch。然后训练两个网络超过300次，学习率衰减系数为每50次衰减一半。预训练阶段是为了稳定GAN训练。音调映射网络N由大约450万个参数组成，鉴别器共有31k个参数。训练这些网络大约需要3个半小时运行时间。我们训练有素的色调映射算子使用GPU处理1333 × 2000像素的图像需要0.5秒。

4. Results

我们报告了我们的音调映射网络在Farbman等人的最先进算法下的定量和定性评估。[8]，Ferradans等人的[10]，Gu等人的[12]，Mai等人的[27]，Shan等人的[42]，Shibata等人的[44]，Paris等人的[33]，Liang等人的[25]，Khan等人的[22]和Zhang等人的[56]。使用作者发布的默认参数来测试这些方法。

我们还对Zhang等人[55]、Rana等人[38]、Panetta等人[32]和Cao等人[3]等基于dnn的方法进行了比较，方法是在这些方法评估时使用的同一组测试图像上运行我们的方法。

4.1. Quantitative Evaluation

在这个比较中，我们使用了色调映射图像质量指数(TMQI)[53]和盲TMQI (BTMQI)[13]，这是通常用于评估TMOs的方法。这些指数是对来自HDR摄影调查数据集[7]的105张基准HDR图像进行评估的。在竞争对手的原始代码不可用的情况下，我们使用他们的测试图像使用这些分数来评估我们的方法。

Fr ' cheet Inception distance (FID)[16]是一个基准分数，用于测量从Inception网络[46]中提取的视觉描述符分布之间的距离。我们使用这个距离来衡量色调映射图像和本地LDR图像的相似性。然而，这种距离需要大量的图像(≥10,000)，而这些图像目前在HDR成像领域是不可用的。相反，我们使用这个距离的一个变体，我们称之为pixFID，它可以用更少的图像来可靠地评估。在这个测试中，我们从HDR+数据集[15]中收集了1000张图像，从DIV2k数据集[1]中收集了另外1000张测试LDR图像。在补充材料的附录中，我们描述了这个距离，并显示了它与FID的一致性。

Tone-Mapped Image Quality Indices.

我们的网络被训练成在保留输入的结构内容的同时再现本地LDR图像的视觉外观。TMQI和BTMQI都对这些品质给予了奖励，事实上，如表1所示，我们的方法获得了最好的分数，在TMQI中具有不可忽略的差距，仅次于得分最高的音调映射算法列表和最近基于dnn的方法(Zhang等人，[55]，Rana等人，[38]，Panetta等人，[32]和Cao等人，[3])。请注意，后一种基于dnn的方法并不是列表中排名靠前的tmo。因此，除了推动最先进的HDR色调映射之外，我们的方法使用dnn来实现，正如我们在下面指出的那样，dnn可以在更有效的平台上使用。

Fr´echet Inception Distance.

表2报告了不同方法获得的pixFID值，其中我们的网络接收到最低(最佳)值。这表明我们的色调映射图像与本地LDR图像具有最接近的统计相似性。请注意，Liang等人最近的算法是我们在这方面最接近的竞争对手。由于代码不可用，这个分数没有在基于dnn的方法上进行评估。

4.2. Visual Evaluation

图5提供了在上述测试中获得最高分的方法生成的色调映射图像的并排比较。

Shibata等人的方法似乎产生了适当的压缩水平，但也过分强调了细节和薄晕。Liang等人的方法的结果显示较少的边缘相关的伪影和足够的压缩，但包含相当适度的局部和全局对比。Rana等人的方法产生了对比度丰富的无晕图像，但由于压缩量不足，也包含过暗的区域。Farbman等人和Paris等人的算法都能产生无伪影的图像，但似乎压缩程度不够，导致对比度较弱。Zhang等人的结果得到了更好的压缩，并且包含了更好的对比度。最后，Gu等人的方法实现了相当程度的压缩，但存在过分强调细节和轻微光晕效应的问题。通过我们的方法产生的色调映射图像似乎不会受到视觉伪影的影响，并且具有足够的压缩量，没有过度和曝光不足的区域。局部和全局对比似乎相当平衡，并且与对比度丰富的本地LDR图像中的对比一致。在本文的补充材料中可以找到额外的并排比较图像。

User Study.

最后，为了进一步评估我们结果的视觉质量，我们按照b[25]中使用的协议进行了用户研究。具体来说，它由8名参与者组成，他们被要求对[25,33,38,12,8]和我们的方法产生的1到8张图像进行评分。这些图像以随机顺序挨个显示。参与者对测试的目的很天真，并被要求根据照片的真实感和未经处理的程度来给照片打分。

我们的方法平均得分最高，为6.43，标准值为1.6，其次是[25]，平均得分为5.78，标准差为2.04，[33](4.39,1.99)，[8](4.70,1.98)，[12](2.43,1.95)，[38](2.14,1.28)。在补充资料中可以找到总结这些结果的图表。

4.3. Ablation Study

为了证明第3节中描述的不同组件的贡献，我们评估了通过关闭它们获得的TMQI和FID分数。可供参考的是，我们的方法实现了pixFID为1.008,TMQI为0.919。

Adaptive Compression Level

使用TRC的tmo以以下两种方式之一确定压缩量:(i)对输入图像的原始亮度值进行操作，即省略Eq. 1中max(Y)的分割，并允许其范围影响压缩[9,6,8]，或者(ii)如[21]中，将输入亮度归一化为固定范围，即在Eq. 1中使用固定的压缩量λ = 5000。

为了成功地处理不同动态范围的图像，该方法对所适用的压缩级别进行了调整。此外，它从输入直方图中估计这个水平，并避免了从不同来源策划的图像的亮度尺度的不一致。使用固定的λ = 1000将TMQI分数大大降低到0.89，并且省略亮度归一化将pixFID降低到1.096,TMQI降低到0.75。我们在补充材料中提供了可视化演示。

Square-Root Transformations

如上所述，我们用√x变换增强我们的U-Net体系结构，以更好地跨越平滑色调映射算子。通过省略这些转换，pixFID得分增加到1.219,TMQI下降到0.869。正如我们在补充材料中演示的那样，这些转换的视觉影响是实质性的。

Discriminator Ensemble

我们还评估了在多个图像分辨率下使用浅鉴别器网络集成的重要性，有两种选择:(i)在最佳图像分辨率下使用单个浅鉴别器，以及(ii)使用单个更深的DCGAN架构[37]。第一个选项导致pixFID 1.096和TMQI 0.912的分数较低，并且在补充材料中显示的图像的粗尺度下恢复对比度的能力明显受损。图3显示了由于训练深度DCGAN鉴别器网络所涉及的不稳定性而产生的伪影，尽管该选项对视觉分数没有显著影响，即pixFID为1.043,TMQI为0.92。

Adversarial Loss.

在没有GAN损失的情况下，网络只被训练以最小化结构损失，并导致身份映射，输出输入色调映射的图像不变，这些设置下的TMQI和pixFID分数分别为0.8和1.131。

Structural Preservation.

最后，我们报告，去除我们的结构保存损失不允许我们的训练收敛。

5. Conclusions

我们提出了一种新的训练方法，与现有的基于dnn的方法不同，它不需要配对训练样例，通过设定产生自然外观的LDR再现的目标。为了使这个最小设置成功，我们提出了一个范围归一化预处理，该预处理估计并应用不同级别的基于曲线的压缩，将网络的动作限制在亮度和对比度的局部变化的损失，以及一个更简洁的鉴别器网络。旨在促进本地LDR所拥有的低级属性的再现。我们在几个图像保真度指标上评估了我们的方法，并报告了其优越的性能。视觉检查显示它能够产生具有平衡对比度水平的自然色调映射。