基于双光照估计的曝光校正: Dual Illumination Estimation for Robust Exposure Correction

Dual Illumination Estimation for Robust Exposure Correction

[pdf]

目录

Abstract

1. Introduction

3. Our Approach

3.1. Dual illumination estimation Background.

3.2. Multi-exposure image fusion

---

Abstract

Exposure correction is one of the fundamental tasks in image processing and computational photography. While various methods have been proposed, they either fail to produce visually pleasing results, or only work well for limited types of image (e.g., underexposed images). In this paper, we present a novel automatic exposure correction method, which is able to robustly produce high-quality results for images of various exposure conditions (e.g., underexposed, overexposed, and partially under- and over-exposed). At the core of our approach is the proposed dual illumination estimation, where we separately cast the underand over-exposure correction as trivial illumination estimation of the input image and the inverted input image. By performing dual illumination estimation, we obtain two intermediate exposure correction results for the input image, with one fixes the underexposed regions and the other one restores the overexposed regions. A multi-exposure image fusion technique is then employed to adaptively blend the visually best exposed parts in the two intermediate exposure correction images and the input image into a globally well-exposed image. Experiments on a number of challenging images demonstrate the effectiveness of the proposed approach and its superiority over the state-of-the-art methods and popular automatic exposure correction tools.

曝光校正是图像处理和计算摄影的基本任务之一。虽然已经提出了各种方法，但它们要么不能产生视觉上令人舒适的结果，要么只能在有限类型的图像 (例如，曝光不足的图像) 中工作。

本文提出了一种新的自动曝光校正方法，该方法能够稳健地对各种曝光条件 (如曝光不足、曝光过度、部分曝光不足和曝光过度) 的图像产生高质量的结果。

本文方法的核心是提出的双光照估计，其中，分别将曝光不足和过曝光校正作为输入图像和倒置输入图像的普通光照估计。通过对输入图像进行双光照估计，得到两种中间曝光校正结果，一种是对欠曝光区域进行校正，另一种是对过曝光区域进行恢复。然后利用多次曝光图像融合技术，将两幅中间曝光校正图像和输入图像中视觉上最优曝光部分自适应融合成全局良好曝光的图像。

在一些具有挑战性的图像上进行的实验证明了所提方法的有效性，以及它相对于最先进的方法和流行的自动曝光校正工具的优越性。

1. Introduction

研究内容的现实需求：总结来说，虽然相机很牛，但环境不好和拍摄者能力有限，拍出的图像还是有问题；纵使有很牛的处理软件，但非专业者能力有限和软件并不很准。

随着内置相机的移动设备和廉价的数码相机的普及，人们对拍照越来越感兴趣，在社交网络上分享照片已经成为一种时尚的生活方式。尽管现代相机配备了许多复杂的技术，且一般易于控制和使用，但在复杂的光照条件下 (例如，低光和背光) ，非专业摄影师拍摄曝光良好的照片仍然是一个挑战。因此，不可避免地会产生曝光不良的照片，如图 1 所示。由于细节不清晰，对比度较弱，色彩暗淡，这些照片通常看起来不舒服，无法捕捉到用户想要的效果，这就增加了对有效曝光校正技术的需求。

由于其固有的非线性和主观性，曝光校正是一项具有挑战性的任务。事实上，现有的图像编辑软件 (如 Photoshop、GIMP 和 Lightroom) 为用户提供了各种工具来交互式地调整照片的色调和曝光，但对于非专业人士来说仍然很难，因为这些工具基本上需要一个繁琐的过程来平衡多个控制 (如亮度、对比度、颜色等)。尽管 Lightroom 中的 “自动 Tone” 功能和 Photoshop 中的 “自动 Level” 功能允许只需单击一次即可自动曝光校正，但它们可能并不总是对输入图像应用正确的调整，使它们无法产生令人满意的结果。图 2 显示了这些工具处理的示例图像。

Figure 2: An overexposed image processed by various exposure correction tools. (b) and (c) are results generated by Auto-Level in Photoshop and Auto-Tone in Lightroom, while result (d) is produced by a Photoshop expert through interactive adjustment. The time cost for generating each result is also shown for evaluating the ease of use and algorithm efficiency. 

现有方法的不足：

研究人员还开发了各种曝光校正方法。然而，它们大多仅用于校正欠曝光或过度曝光，因此适用性有限。也有一些方法适用于任意曝光条件下的图像。早期的方法如直方图均衡化及其改进方法，通过拉伸强度直方图的动态范围来工作，但往往产生不真实的结果。随后的一些方法依赖于 S 形 tone mapping 射曲线或小波来工作，而最近的方法在数据集上训练 tone 调整模型来进行曝光校正。然而，它们不能很好地处理过度曝光的图像，并可能导致不自然的结果；参见图 11。

研究方法：

本文提出了一种新的曝光校正方法，它是建立在观察到曝光不足和过曝光校正可以共同表述为一个简单的输入图像和倒置输入图像的光照估计问题的基础上的。虽然以前的方法已经证明了光照估计在校正曝光不足照片中的有效性，但它们几乎没有探索其在处理过度曝光方面的潜力。与他们不同的是，本文发现过曝光校正也可以通过反转输入图像来表示一个光照估计问题，因为最初的过曝光区域会表现为欠曝光，这允许通过校正反转输入图像中的欠曝光区域来固定输入图像中的过曝光区域。因此，本文引入了双照度估计，分别预测输入图像的正向照度和反向照度。然后从估计的正向和反向光照恢复输入图像的两幅中间曝光校正图像，其中一幅修复曝光不足区域，另一幅恢复曝光过的区域。然后，对中间曝光校正图像和输入图像进行有效的多曝光图像融合，将三幅图像中局部最佳曝光部分无缝融合成全局良好曝光的图像。

贡献：

本文的贡献是一种简单而有效的曝光校正方法建立在一种新的双光照估计之上。为了证明该方法的有效性，在一些具有挑战性的图像上进行了评估，并通过用户研究将其与最先进的方法和流行的曝光校正工具进行了比较。实验表明，本文的方法产生的结果更受受试者的青睐，并且本文的方法可以有效地处理之前具有挑战性的图像 (如曝光不足和过度区域的图像)。此外，本文的方法是全自动的，可以以接近交互的速度运行。

3. Our Approach

Figure 3: Overview of the proposed exposure correction algorithm. Given an input image, the dual illumination estimation is first performed to obtain the forward and reverse illuminations, from which we then recover the intermediate under- and over-exposure corrected images of the input. Next, an effective multi-exposure image fusion is applied to seamlessly blend visually best exposed parts in the two intermediate exposure correction images as well as the input image into the final globally well-exposed image. 

图 3 为曝光校正算法的系统概述。给出一幅输入图像，首先对其进行双照度估计，得到正、逆照度，从中恢复出曝光过低和曝光过低的中间校正图像。然后，将两幅中间曝光校正图像与输入图像融合为期望图像，将三幅图像中最佳曝光部分无缝融合到期望图像中。

3.1. Dual illumination estimation Background.

  Background  

双重光照估计的基础是基于 Retinex 的图像增强中的假设，假设图像 I (归一化为 [0,1]) 可以被表征为所需增强图像 I' 和单通道光照映射 L 的像素级乘积:

I = I' × L， (1)

其中 × 表示像素乘法。在这个假设下，图像增强可以简化为一个光照估计问题，因为只要光照映射 L 已知，就可以恢复所需的图像 I'。然而，基于 Retinex 的方法对过度曝光的图像效果不好。原因是图像的衰减曝光要求公式 (1) 中的光照映射 L 超过正常的色域 (即 L > 1)，因为生成的图像 I' 是由 I × L^{−1} 恢复的。图 4 显示了一个例子，其中基于 Retinex 的增强方法进一步增加了过度曝光的输入图像的曝光，产生了图 4(b) 和 (c) 中视觉不佳的图像。

Figure 4: Limitation of existing Retinex-based image enhancement methods (b) and (c) in correcting an overexposed image (a). 

  Key Observation  

与之前基于 Retinex 增强的方法不同，本文观察到，过度曝光校正也可以通过反转输入图像来表述为一个光照估计问题，因为最初的过度曝光区域会在反转图像中表现为曝光不足，允许通过校正反向输入图像中相应的欠曝光区域来固定输入图像中的过曝光区域。

具体地，为了校正输入图像 I 中的过曝光区域，首先获得其倒像 I_{inv} = 1 − I，并估计相应的光照映射 L_{inv}。然后计算曝光不足校正后的图像 I'_{inv}，即 I'_{inv} = I_{inv} × L^{−1}_{inv}，然后恢复所需的曝光过度校正后的图像 I' = 1 − I'_{inv}。注意，反向输入的图像通常是不真实的图像，但恢复的曝光过度校正后的图像是真实的。图 5 验证了这个的观察，通过对倒置的输入图像进行光照估计成功地校正了过度曝光的图像。

Figure 5: Validation of our observation. (a) Input overexposed image I. (b) Inverted input image Iinv. (c) and (d) are illumination Linv and underexposure corrected image I'_{inv} of the inverted image I_{inv}. (e) Overexposure corrected image I' = 1−I'_{inv} of the input image (a). 

值得注意的是，在以前的增强方法中已经使用了倒置图像 [DWP∗11,LWWG15]。本文使用的倒像方法与这些方法有两个不同之处。首先，他们专注于增强弱光图像/视频，而本文的目标是纠正过度曝光的照片。第二，他们观察到倒置的弱光图像看起来像雾蒙蒙的图像，因此使用去雾算法来产生最终的结果。相反，本文观察到，过度曝光的图像在倒置时曝光不足，可以通过光照估计间接纠正。

[DWP∗11] Fast efficient algorithm for enhancement of low lighting video. In ICME (2011).

[LWWG15] A low-light image enhancement method for both denoising and contrast enlarging. In ICIP (2015).

基于这一观察，本文设计了双光照估计，第一遍对输入图像进行正向光照估计，目的是校正欠曝光区域，而另一遍对输入图像进行反向光照估计，以获得反向光照并校正过曝光区域。这种设计的原因是输入图像可能存在部分过曝和过曝的情况，因此需要进行二次光照估计来校正不同曝光条件下的区域。正向和反向照明是在相同的照明估计框架中分别估计的。

  Illumination Estimation Framework  

为了估计给定图像 I 的照度，首先，取最大 RGB 颜色通道作为每个像素点的照度值，得到初始照度 L'，表示为

其中 I^c_p 表示像素 p 处的颜色通道 c。

本文使用最大颜色通道作为初始光照的原因是，根据 I' = I × L'^{−1}，较小的光照可能有将恢复图像 I' 的颜色通道发送出色域的风险。虽然最初的光照图粗略地描述了整体的光照分布，但它通常包含更丰富的细节和纹理，而不是由光照不连续导致的，这使得从它恢复的结果不现实；如图 6 (b) 和 (c) 所示。因此，本文提出通过保留突出的结构，去除冗余的纹理细节，从 l' 估计出一个精细的光照图 L。

为此，定义如下目标函数来获得所需的照明图 L:

其中，∂x 和 ∂y 分别是水平方向和垂直方向上的空间导数。w_{x,p} 和 w_{y,p} 是空间变化的平滑权值。第一项 (L_p−L'_p)^2 强制 L 与初始光照映射 l' 相似，而第二项旨在通过最小化偏导数来去除 l' 中多余的纹理细节。λ 是平衡这两项的权重。

直观地说，Eq. 3 中的目标函数在形状上与 WLS 平滑的目标函数相似。然而，本文的平滑权值的定义是不同的。具体来说，x 方向平滑度权值 w_{x,p} 表示为:

其中 T_{x,p} 受到相对总变异 (RTV) [XYXJ12] 的启发，定义为

 

其中 Ω_p 表示以式 (4) 和 (5) 中的像素 p. Ω 为中心的 15 × 15 平方窗口，ε 固定为1e-3。G_σ(p,q)计算像素 p 和 q 之间基于空间亲和性的高斯权重，σ = 3 为标准差。在形式上，G_σ(p,q) 定义为

​

其中函数 D(p,q) 计算像素 p 和 q 之间的空间欧几里德距离。由于 y 方向平滑权值 U_{y,p} 的定义类似，这里不给出它的定义。

Eq.3 中目标函数的解可以有效地得到；参考 [LLW04, LFUS06, FFLS08]。

[XYXJ12] Structure extraction from texture via relative total variation. ACM Transactions on Graphics 31, 6 (2012)

[LLW04] Colorization using optimization. ACM transactions on graphics 23, 3 (2004)

[LFUS06] Interactive local adjustment of tonal values. ACM Transactions on Graphics 25, 3 (2006)

[FFLS08] Edge-preserving decompositions for multi-scale tone and detail manipulation. ACM Transactions on Graphics 27, 3 (2008)

与 [FZH∗16, GLL17] 类似，为了恢复更亮的结果，本文交替地对估计的照明 L 进行 Gamma 调整，即 L = L^γ，并通过 I' = I∗(L^γ)^{−1} 恢复曝光校正结果。本文 γ 为 0.6。图 6 显示了本文的光照估计在校正曝光不足图像中的有效性。可以看出，通过优化 Eq. 3 中的目标函数，本文得到了纹理细节较少的分段平滑光照，由此恢复了视觉上令人舒服的曝光不足校正结果。

Figure 6: Illumination estimation. (a) Input image. (b) Initial illumination. (c) Result recovered from the initial illumination (b). (d) Our refined illumination. (e) Result recovered from our refined illumination (d). Note the forward illumination is estimated here, since the input image is obviously underexposed. Source image from Bychkovsky et al. [BPCD11].

[FZH∗16] A weighted variational model for simultaneous reflectance and illumination estimation. In CVPR (2016).

[GLL17] Low-light image enhancement via illumination map estimation. IEEE Transactions on Image Processing 26, 2 (2017). 

[BPCD11] Learning photographic global tonal adjustment with a database of input/output image pairs. In CVPR (2011)

图 7 对比了本文的光照估计和之前的边缘保持图像平滑方法。为了进行公平的比较，本文使用作者提供的具有良好调优参数的实现，基于相同的初始照明来生成它们的照明。此外，在恢复曝光校正结果时，对每种方法产生的光照进行伽玛校正。

从图中可以看出，本文的光照在保留显著光照结构的同时，较好地去除了初始光照中多余的纹理细节，恢复出对比度更明显、色彩更鲜艳的视觉效果。

需要注意的是，虽然图 7 中是对正向光照进行了估计，但是对于反向光照的估计，上面的结论同样成立，因为两者都是建立在相同的光照估计算法上的。

Figure 7: Comparison with edge-preserving smoothing methods on illumination estimation. (a) and (e) are the input image and the initial illumination. (b) and (c) are smoothed illuminations produced by the WLS smoothing [FFLS08] and the RTV method [XYXJ12]. (f) and (g) are results recovered from the illuminations (b) and (c), respectively. (d) and (h) are our estimated illumination and the corresponding exposure correction results. 

3.2. Multi-exposure image fusion

如上所述，通过执行所提出的双光照估计，可以得到一个输入图像的两个中间曝光校正版本，一个校正未曝光区域，另一个恢复过曝光区域。直观地说，要生成全局曝光良好的图像，关键是在两幅中间曝光校正图像中，将局部曝光最好的部分无缝融合。考虑到输入图像中可能存在正常曝光区域，本文又采用输入图像，对三幅图像进行多次曝光图像融合，得到最终的曝光校正结果。

设 I'_f 和 I'_r 表示输入图像 I 的中间曝光过低和过曝光校正后的图像，然后利用曝光融合技术将图像序列 {I'_f, I'_r, I} 融合为全局曝光良好的图像 I'。具体来说，首先通过以下方法计算出序列中每个图像的视觉质量图：

其中 k 表示图像序列中的第 k 幅图像。C, S 和 E 是对比度，饱和度和舒适度的定量测量；详情见[MKVR09]。β_C、β_S 和 β_E 是控制各测量值影响的参数，默认为 1。

具有较高视觉质量值的像素更有可能曝光得更好。然后将这三个视觉质量地图归一化，使它们在每个像素点 p 处的总和为 1。

[MKVR09] Exposure fusion: A simple and practical alternative to high dynamic range photography. Computer Graphics Forum 28, 1 (2009).

接下来，利用 Burt 和 Adelson [BA83] 提出的多分辨率图像融合技术，在预先计算的视觉质量图的指导下，对序列中的图像进行无缝融合。如图 8 (d) 所示，融合后的图像自适应保持了多次曝光图像序列 (图 8(a)-(c)) 中的视觉最佳部分，由于亮度提高、细节清晰、对比度明显、色彩鲜艳，与输入图像相比具有更好的视觉效果。

[BA83] The laplacian pyramid as a compact image code. IEEE Transactions on Communications 31, 4 (1983).

然而，注意到在融合后的图像序列中，局部最佳曝光区域，如人脸和天空，出现了明显的质量退化。这是因为在融合过程中，序列中相同的视觉质量较低的区域削弱了这些区域的影响。因此，本文不对视觉质量图进行归一化处理，而是对视觉质量图进行修改，只保留图像序列中每个像素处的最大值，表示为

使用修改后的视觉质量图，得到了人脸和云细节更清晰，对比度更好，颜色更鲜艳的改进结果，如图 8(e) 所示。

Figure 8: Multi-exposure image fusion. (a) Input image. (b) and (c) are under- and over-exposure corrected images recovered from the forward and reverse illuminations, respectively. (d) and (e) are fused images produced by the original and modified visual quality maps.