Practical Exposure Correction: Great Truths Are Always Simple

Abstract

通过校正曝光水平来改善给定退化观测的视觉质量是计算机视觉领域的一项基本任务。现有的工作由于数据驱动的模式(深度网络)和有限的正则化(传统的优化)，往往缺乏对未知场景的适应性，通常需要耗时的推理。这两点严重限制了它们的实用性。在本文中，我们建立了一个实用的曝光校正器(PEC)，集合了效率和性能的特点。具体来说，我们重新考虑曝光校正，以提供一个具有曝光敏感补偿的线性解决方案。在生成补偿的基础上，引入曝光对抗函数作为关键引擎，充分提取观测数据中的有价值信息。通过应用定义的函数，我们构造了一种分段收缩迭代方案来生成期望的补偿。它的收缩特性为算法的稳定性和鲁棒性提供了强大的支持。广泛的实验评价充分显示了我们所提出的PEC的优越性。该代码可在https://rsliu.tech/PEC获得。

1. Introduction

随着人们对各个领域曝光正确的高质量图像资源的需求，终端设备的成像能力(如光敏性、孔径大小)变得越来越重要。但是，仅仅关注于提高设备的级别，仍然难以克服严重场景下的成像挑战，如背光、不均匀照明等。曝光校正技术[1,7,11,13,22]应运而生。在过去的几十年里，已经设计了许多先进的方法来处理这一任务，它们将在接下来的小节中介绍。此外，我们将在本节的末尾描述我们的贡献。

1.1. Related Work

曝光校正一般包括曝光不足和曝光过度两种典型场景。前者比后者吸引了更多的利益关注，因此前者发展得更快。最近，一些作品提出了一个统一的模式，同时处理这两个案件。

曝光不足校正的主流解决方案包括传统的优化和数据驱动学习。传统优化[2,6,8,10,17]的重点是设计正则化约束期望目标，这是从Retinex理论[14]衍生出来的。LIME[8]是一个著名的作品，它利用RTV[34]中呈现的形式来估计光照。正如本工作中提到的，现有的方案大多难以在具有挑战性的场景中提供适当的曝光。深度模型学习是当前校正曝光不足图像的主流方法。具体来说，他们中的大多数[31,37,38]强调设计网络架构，以提供一个有效的指向参考目标的映射。考虑到学习特定分布的局限性，越来越多的著作[7,19,22]构建了非监督学习策略来满足各种场景下的需求。遗憾的是，这些作品仍然存在局限性。如有效训练损失设计的困难。

最近，研究人员开始设计深层结构[1,11]，同时解决曝光不足和曝光过度校正问题。[1]的工作定义了一个从粗到细的多尺度处理管道，并构建了一个具有广泛曝光水平范围的新数据集。Huang等人从空间-频率交互等不同角度设计了一系列曝光校正深度网络[11-13]。但是，现有的这些一般曝光校正工作一般采用监督方法，过度依赖训练数据，导致泛化效果不佳。

1.2. Our Contributions

为了克服上述问题，我们创建了一种新的算法，尽可能在多种不利的成像条件下有效、高效地进行曝光校正。如图1所示，我们可以观察到PEC的实用性，即以最快的推理速度在不同的挑战性场景上实现了最好的视觉效果。我们的主要贡献可以总结为

•通过重新思考曝光校正的任务目标，建立了一种具有曝光敏感补偿的实用的、通用的曝光校正方案。根据不同情况，采用简单的线性算子，即曝光不足时加，曝光过时减。

•曝光对抗函数被开发，以充分利用从观察本身捕捉补偿的潜在结构信息。它不仅克服了数据驱动学习范式的泛化性差的缺点，而且避免了传统优化方法的复杂推理。

•通过应用曝光对抗函数，我们构建了分割收缩迭代方案，以生成我们所建立的通用算法中所期望的补偿。该方法只需要少量的人工调整参数，其收缩性能保证了PEC的稳定性。

•对多个具有挑战性的数据集的评估，充分验证了我们的PEC的优越性。突出的一点是，在不同的平台上，PEC的推理速度明显快于其他方法。例如，在使用GeForce RTX 2080Ti GPU的设备上处理2K图像只需要0.0009秒。

2. Rethinking Exposure Correction

一般来说，曝光不足图像校正的目的是放大某些曝光不足区域的小像素值，使其可见，而曝光过度图像校正的目的是缩小大像素值，使其显现。从这个简单的观点来看，一个简单的方向是在曝光不足的观察中添加一张地图，以达到放大的效果。同样，我们可以从过度曝光观察中删除一张地图，以获得收缩的法线图像。

基于上述发现，我们定义了以下公式来清晰地描述曝光校正。

通过这种方法，我们明确了曝光校正任务的关键组成部分，然后在校正曝光时重点估计曝光敏感补偿。接下来，我们将介绍如何设计一个有效的算法来获取它。

3. Methodology

在本节中，我们将介绍曝光对抗函数，热补偿开始，分割收缩迭代方案。

3.1. Exposure Adversarial Function

现有的研究[1,11]已经证明，将大量的数据应用到精心设计的网络中确实是一种学习映射的有效方法。然而，以学习为基础的工作的一个常见症状是不可避免的，即，不稳定的结果朝向看不见的场景。也就是说，该方案只适合特定的分布，本质上忽略了曝光校正的任务建模。为了提供一个通用的计算模式，对于给定的变量(曝光不足或过度曝光)，我们将曝光对抗函数定义为

Lemma 3.1.

如式(2)所示，曝光对抗函数在x轴上满足轴对称性质，即f(1−z) = f(z)。

上面构建的函数将输入(z)和反向输入(1−z)组合在一起，生成一个封闭范围的结果，即。事实上，z和1−z保持着一种相互制衡的关系，这就是为什么我们称之为“对抗式”。更重要的是，当面对不同曝光水平的观测时，考虑到引理3.1中的轴对称特性，该函数可以一致地输出一个稳定的解决方案。

我们想要说明的是，这个曝光对抗函数是构造公式(1)中所示的曝光敏感补偿的核心支持。下面将详细介绍。

3.2. Warm Start with Compensation

我们首先构造一个带补偿的暖启动器来提供一个有效的初始化，该初始化可以表示为

其中gu和go分别是曝光不足和过度情况下的校正输出。

图2展示了我们的热启动操作的效果。我们可以很容易地观察到，暖启动正确地改善了输入的曝光。从直方图分布来看，值得注意的是，修正后的输出并没有破坏观测值的内在分布，即仍然保留了观测值中原始的像素级对应关系。此外，本实验也表明，在一些简单的情况下，我们只能用暖的开始来校正曝光。

Lemma 3.2.

如果曝光水平一致，即不同曝光场景下c相同，则不同曝光情况之间的暖启动过程满足对称性质，即gu(1−y) = 1−go(y)。

我们知道曝光不足的图像通常包含很多像素，这些像素的值很小，甚至接近于零。类似地，过度曝光的图像总是有很多像素具有接近等于1的重要值。由此看来，曝光不足校正和曝光过度校正之间可能存在着正向和反向的相互联系。如引理3.2所示，我们所建立的暖启动满足不同曝光情况下的对称性质，这也表明我们的构造过程是合理的。

与式(1)中的任务建模相比，在温启动过程中，期望的曝光敏感补偿正好等于f，即(y) = f(y)。

3.3. Segmented Shrinkage Iterative Scheme

如图2所示，我们已经取得了可以接受的校正质量，但更常见和更具挑战性的场景还有待研究。通过结合曝光对抗函数和式(1)给出的解，我们定义了一个由收缩内置块组成的分段收缩迭代方案。每个内置块都属于一个迭代过程，其基本迭代步骤为

此外，我们可以从上面两个小节中给出的性质(见引理3.1和引理3.2)中得出定理3.11。它在每个基本迭代步骤的曝光不足和曝光过度校正之间建立了明确的联系。如图3所示，我们也绘制了给定向量y上的修正过程，该向量y属于[0,1]。一个明显的现象是，随着迭代的增加，曲线呈现出收缩状态2。此外，我们可以看到定理3.1很容易从几何角度证明。我们可以得出结论，我们构建的分割收缩迭代方案仍然保持了不同曝光校正任务之间的内在联系。它实际上提供了一个隐式约束来缩小解决空间，以确保稳定性。

最后，对于欠曝光情况下的每个迭代步骤，我们有，其中与y相关。由于嵌套迭代，这里我们不提供一般的最终补偿形式。Alg. 1给出了曝光不足情况的计算流程，曝光过度情况只需要将符号“+”改为“−”。

3.4. Discussion

如上所述，曝光敏感补偿是出现在算法主体各部分中的重要组成部分。在这里，我们从可视化的角度来研究它的影响。如图4所示，我们可以很容易地看到，对于曝光不足的情况，我们的PEC可以自动识别曝光过的区域，以避免进一步强化(如车灯)。对于过度曝光的情况，我们生成的补偿的整体结构和细节更接近于最初的观察。

通过同样的补偿推导过程，可以得到其他比较方法的补偿。这些构建的补偿实际上产生了与我们类似的内容。但如右子图所示，受限于特定于数据的学习模式，在MSEC中引入了不希望看到的工件，以模糊结构信息(参见MSEC的下一行)。总之，本实验充分证明了我们的曝光校正解决方案的可追溯性和有效性。

4. Experimental Results

5. Algorithmic Analyses

6. Concluding Remarks

这项工作开发了一种新颖、实用、通用的曝光校正算法，它成功地聚集了显著的计算效率和视觉友好的图像质量的优势。该算法具有良好的稳定性和收敛性。我们进行了大量的评估来显示我们的优势。

更广泛的影响。PEC实际上为解决曝光校正问题提供了一个新的视角。由于该算法反映了任务的内在需求和从观察中提取的有益信息，因此只需要一些简单的线性算子(加减乘除)就可以得到所需的修正输出。由于具有实时处理和不引入非线性操作的优点，PEC可以很容易地嵌入到硬件芯片(如FPGA)中，以满足实际需求。此外，与现有的方法相比，需要手动调整的参数少得多。事实上，这些参数可以通过学习的方式获得，使PEC具备更强大的能力来满足不同的任务目标(如跟踪)。