A Bio-Inspired Multi-Exposure Fusion Frameworkfor Low-light Image Enhancement

Abstract

弱光图像的能见度较低，不利于人类观察和计算机视觉算法。尽管许多图像增强技术已经被提出来解决这个问题，现有的方法不可避免地引入对比度增强不足和过度。受人类视觉系统的启发，我们设计了一个用于微光图像增强的多曝光融合框架。在此基础上，我们提出了一种双曝光融合算法，以提供准确的对比度和亮度增强。具体来说，我们首先利用光照估计技术设计图像融合的权值矩阵。然后引入相机响应模型来合成多曝光图像。其次，我们找到最佳曝光比，使合成图像在原始图像曝光不足的区域得到良好的曝光。最后，根据权值矩阵将输入图像与合成图像进行融合，得到增强结果。实验结果表明，与现有的几种方法相比，该方法在对比度和亮度畸变较小的情况下获得了满意的结果。

I. INTRODUCTION

随着摄影技术的发展，图像质量在分辨率和位深上都有了很大的提高。然而，在非均匀照明环境(如背光、夜间和低光室内场景)中，标准成像设备捕获的图像往往存在能见度低的问题。这些图像可能会在曝光不足的区域丢失信息，使图像内容对人眼来说不可见。由于相机动态范围有限，如果增加相机曝光量，暴露曝光不足区域的信息，那么曝光良好的区域就会曝光过度甚至饱和。为了解决这个问题，许多图像增强技术被提出，包括基于直方图的方法[1]，[2]，[3]，[4]，[5]，[6]，[7]，[8]，[9]，[10]，[11]，[12]，[13]，基于视网膜x的方法[14]，[15]，[16]，[17]，[18]，[19]，[20]，对数图像处理方法[21]，[22]，以及基于滤波的方法[23]，[24]，[25]，[26]，[27]。虽然一些方法可以获得较好的主观质量的结果，但这些结果可能不能准确地反映场景的真实亮度和对比度。因此，基于单一图像的精确光增强和对比度增强仍然是一个具有挑战性的问题。

高动态范围(High Dynamic Range, HDR)技术可以利用同一场景下的一组不同曝光图像合成出与所感知场景接近的图像。我们都知道相机和人眼有很多相似之处，那么，为什么我们能感知到一幅无处不在曝光良好的图像，而相机却不能呢?原因在于我们大脑的后处理具有类似于HDR技术[28]的图像融合机制。人眼的曝光量会随着焦点的变化而变化，从而产生多次曝光的图像集，这些图像集随后被发送到大脑。虽然这些图像中的每一个都在某些区域存在曝光不足或过度的问题，但我们的大脑可以将这些图像融合成一个没有曝光不足和过度问题的图像，如图1所示。

我们是否可以引入这种人类视觉系统(HVS)的融合机制来帮助建立一个精确的图像增强算法?虽然在HDR领域已经提出了许多曝光融合技术，但对于弱光增强问题，不同曝光的附加图像往往是不可用的。幸运的是，这些图像是高度相关的。只有曝光不同的两幅图像之间的映射函数称为亮度变换函数(BTF)。因此，我们可以先使用BTF生成一系列多次曝光的图像，然后对这些图像进行融合，得到增强的结果。

在本文中，我们提出了一个受HVS启发的多曝光融合框架。在我们的框架中有两个阶段:眼睛曝光调整和眼睛曝光调整。第一阶段模拟人眼调整曝光，生成多曝光图像集。第二阶段模拟人脑，将生成的图像融合为最终的增强结果。在此基础上，我们提出了一种双曝光融合方法。具体来说，我们首先采用光照估计技术来建立图像融合的权重矩阵。在此基础上，导出了基于观测的摄像机响应模型。接下来，我们为我们的相机响应模型找到最佳曝光，从而在原始图像曝光不足的区域生成曝光良好的合成图像。最后，利用权值矩阵将输入图像与合成图像进行融合，得到增强结果。在5个具有挑战性的数据集上进行了实验，揭示了该方法与其他最新方法相比的优势。

II. RELATED WORK

一般来说，图像增强技术可以提高输入图像的主观视觉质量，并支持一些计算机视觉技术[29]，[16]提取有价值的信息。微光图像增强是增强技术的一种，可以揭示图像中欠曝光区域的信息。从广义上讲，现有的微光图像增强技术可以分为两大类:全局增强和局部增强。

A. Global Enhancement Algorithms

全局增强对所有图像像素进行相同的处理，无论其空间分布如何。线性放大是一种简单直接的全局增强方法。然而，在线性放大后，明亮区域可能会饱和，导致增强结果的一些细节损失。为了避免这一问题，一些图像增强方法采用非线性单调函数(如幂律[30]、对数[31]、伽马函数[32])进行增强。直方图均衡化(histogram equalization, HE)[33]作为另一种避免饱和的方法，可以有效地提高对比度，成为一种广泛应用的技术。许多扩展的HE被提出考虑到一些限制，如亮度保持[29]，[34]，[10]和对比度限制[35]。一些算法通过扩展直方图的概念，考虑到图像的空间特征，进一步提高了性能[3]，[6]，[7]。然而，全局增强可能会在某些局部区域遭受细节丢失，因为全局处理不能保证所有的局部区域都得到很好的增强。

B. Local Enhancement Algorithms

局部增强技术直接利用空间信息，可以取得较好的效果，成为当前技术的主流。局部直方图均衡化[36]，[37]采用滑动窗口策略进行局部HE。在观察到倒置微光图像接近于雾状图像的基础上，在一些方法[38]，[39]中借鉴去雾技术来解决微光图像增强问题。但是，上述方法的基本模型在物理解释[14]中缺乏。为了为图像增强提供一个有物理意义的模型，Retinex理论假设到达观察者的光量可以分解为两部分:光照和场景反射。大多数基于retainex的方法通过去除照明部分[18]，[20]，[15]而其他方法[40]，[16]，[14]保留部分照明以保持自然，从而获得增强效果。Fu等人[41]通过融合两个增强的照明来调整照明组件。据我们所知，由于弱光增强问题通常以单个图像作为输入，因此目前还没有针对该任务的多曝光融合方法。

III. MULTI-EXPOSURE FUSION FRAMEWORK

我们的框架主要由四个主要组件组成:第一个组件，称为多重曝光采样器，决定需要多少图像和每个图像的曝光比被融合;第二部分，命名为多重曝光发生器，使用相机响应模型和指定的曝光比合成多重曝光图像;第三个组件名为Multi-Exposure Evaluator，确定融合时每幅图像的权重图;最后一个组件名为Multi-Exposure Combiner，将生成的图像融合到基于权重图的最终增强结果中。在本节中，我们将逐一介绍它们。

A. Multi-Exposure Sampler

在生成多次曝光图像之前，我们需要确定需要多少张图像以及它们的曝光比。由于多次曝光集中的一些图像不能提供额外的信息，考虑这些图像会浪费计算资源，甚至会恶化融合结果。一个好的采样器可以使用尽可能少的图像，通过选择适当的曝光比来显示场景中的所有信息。采样器的输出是一组曝光比{k1, k2，…kN}，其中N为生成的图像个数。

B. Multi-Exposure Generator

如上所述，不同曝光的图像是相关的。多重曝光发生器将输入的图像按照设定的曝光比映射成多重曝光的图像。多重曝光发生器的关键部分是相机响应模型，用来找到合适的BTF进行映射。给定曝光比ki和BTF g，我们可以将输入图像P映射到曝光集中的第i幅图像为

C. Multi-Exposure Evaluator

来估计生成图像中每个像素的健康状况。多重曝光评估器接收图像并输出一个权重矩阵，表明每个像素的健康状况。对于所有的像素，权值矩阵是不均匀的:良好曝光的像素被赋予较大的权值，而较差曝光的像素被赋予较小的权值。在对所有图像进行评估之后，输出矩阵将按像素对其进行归一化，以确保每个像素的求和等于1

D. Multi-Exposure Combiner

为了得到全像素曝光良好的图像，我们可以简单地根据权值矩阵将这些图像融合为

其中c为三个颜色通道的指数，R为增强后的结果。其他融合技术如多尺度融合[42]和Boosting拉普拉斯金字塔融合[43]也可以获得更好的融合结果。

IV. DUAL-EXPOSURE FUSION ALGORITHM

在本节中，我们使用所提出的框架来设计一个弱光图像增强算法。为了降低复杂度，我们只生成一幅适当曝光的图像，将输入的图像与生成的图像融合得到增强结果。在此框架下，融合图像定义为

A. Dual-Exposure Evaluator

W的设计是获得一种增强算法的关键，该算法可以增强曝光不足区域的低对比度，而保持曝光良好区域的对比度。我们需要给曝光良好的像素赋大的权重值，给曝光不足的像素赋小的权重值。直观上，权重矩阵与场景照明呈正相关。由于高亮度的区域有很大的可能被充分暴露，因此它们应该被赋予较大的权重值，以保持它们的对比度。我们计算权重矩阵为

其中T为场景光照图，µ为控制增强程度的参数。当µ= 0时，得到的R = P，即不增强。µ= 1时，对曝光不足的像素和曝光良好的像素都进行了增强。当µ> 1时，像素可能会饱和，生成的R会出现细节损失。如图3所示。为了在增强的同时保留暴露良好的区域，我们将µ设为0.5。通过求解优化问题估计场景光照图T。

1) Optimization Problem:

亮度分量可以作为场景照明的估计。我们采用亮度分量作为光照的初始估计:

对于结构相似的区域，理想的照度应该具有局部一致性。换句话说，T应该保留图像的有意义的结构，去除纹理边缘。和[14]一样，我们通过求解以下优化方程来细化T:

M为权矩阵，λ为系数。该方程的第一项是最小化初始映射L和精化映射T的差值，第二项是保持T的平滑。

M的设计对于光照贴图的细化非常重要。局部窗口的主边缘比复杂模式的纹理[44]提供更多的相似方向的梯度。因此，包含有意义的边缘的窗口的权重应该比只包含纹理的窗口的权重小。因此，我们将权值矩阵设计为

2) Closed-Form Solution:

为了降低复杂度，我们将式7近似为[14]中的:

我们的光照图估计方法与[14]中的主要区别在于权值矩阵m的设计。我们采用了一种简化策略，可以得到与[14]中类似的结果。如图4所示。虽然[14]中的光照图比我们的更清晰，但我们的方法在两种增强结果没有明显视觉差异的情况下更节省时间。

B. Dual-Exposure Generator

在本节中，我们提出一个相机响应模型来实现多重曝光发生器。摄像机响应模型由两部分组成:摄像机响应函数(CRF)模型和BTF模型。CRF模型的参数仅由相机决定，BTF模型的参数由相机和曝光比决定。在本小节中，我们首先提出了基于两幅不同曝光图像的BTF模型。然后通过求解共参数方程，得到了相应的CRF模型。最后讨论了如何确定模型参数，给出了g的最终形式。

1) BTF Estimation:

为了估计BTF g，我们选择了一对只有曝光不同的图像P0和P1。然后绘制各颜色通道的直方图，如图5所示。注意到欠曝光图像的直方图主要集中在低亮度区域，如果在传统gamma校正前对像素值进行线性放大，得到的图像将非常接近真实的良好曝光图像。因此，我们可以用一个双参数函数来描述BTF模型为

其中β和γ是我们BTF模型中与曝光率k相关的参数。观测结果也表明，不同的颜色通道具有近似相同的模型参数。其根本原因是，对于一般相机，不同颜色通道的响应曲线大致相同。

2) CRF Estimation:

其中β和γ是两个模型参数，可以从相机参数a, b和曝光比k计算出来。我们假设没有提供相机的信息，使用一个固定的相机参数(a =−0.3293,b = 1.1258)，可以适合大多数相机。

C. Dual-Exposure Sampler

如上所述，我们的算法只生成一幅图像。因此，在本小节中，我们只需要确定生成图像的最佳曝光比。为了在只使用输入图像和生成图像的情况下表示尽可能多的信息，我们找到最佳曝光比，使合成图像在原始图像曝光不足的区域得到良好的曝光。

首先，我们排除曝光良好的像素，并获得一个全局曝光不足的图像。我们简单地提取低光照像素为

其中Q只包含曝光不足的像素。

不同曝光下的图像亮度变化明显，而颜色基本相同。因此，在估计k时，我们只考虑亮度分量。亮度分量B定义为三个通道的几何平均值:

其中Qr、Qg、Qb分别为输入图像Q的红、绿、蓝通道。我们使用几何平均值而不是其他定义(例如算术平均值和加权算术平均值)，因为它对所有三个颜色通道具有相同的BTF模型参数(β和γ)，如公式19所示。

曝光良好的图像比曝光不足/过度的图像具有更高的能见度，可以为人类提供更丰富的信息。因此，最优k应该提供最大数量的信息。为了度量信息的量，我们采用图像熵，其定义为

如图6所示，曝光良好的图像的图像熵高于曝光不足/过曝光的图像熵。因此，利用熵来寻找最佳曝光比是合理的。

由于图像熵随曝光比的增大先增大后减小，可以用一维极小化器求解。为了提高计算效率，在优化k时，我们将输入图像的大小调整为50 × 50。

V. EXPERIMENTS

D. Time Cost

图10给出了不同方法在时间成本上的比较。虽然SRIE和NPE产生了较小的失真，但它们非常耗时。我们的方法在可接受的时间成本下实现了最小的失真。

E. Subjective Evaluation

图9显示了更多的示例进行视觉比较。虽然MSRCR的颜色校正后处理可以处理某些情况下的颜色偏移(例如水下和模糊图像)，但可能会使结果看起来发白。此外，在一些黑暗的地方，还会显示光晕周围的锐利边缘。MSRCR的结果显示，锐边周围有严重的晕影，非常暗的区域有明显的噪音(见两位宇航员)，一些明亮的区域有细节缺失(见圣诞帽)。Dong的作品充满了喧闹和大胆的边缘，看起来就像夸张的艺术画。LIME的效果是如此明亮，以至于许多明亮的区域都是饱和的。同时，对黑暗区域的噪声进行放大，因此需要采用去噪方法来获得更好的效果。MF可能会导致颜色过度增强(参见宇航员脚下的地面)，SRIE可能会在某些边缘产生轻微的晕轮效应(参见圣诞帽)。

VI. LIMITATION AND FUTURE WORK

图11显示了我们技术的一个失败案例，这个人的头发因为过度增强而变成了灰色。这是因为他头部后面的黑色区域和他的黑发混在一起了。如图11 (c)所示，在估计的光照图中，头发被误认为是黑色背景，因此随着背景被增强。这种错误是现有光照地图估计技术的结果。这为今后的工作指明了方向。为了避免由于忽略场景内容而导致的过度增强，需要语义理解。经过进一步的改进，我们可能会使用深度学习技术来估计光照地图。

此外，我们只使用两幅图像来获得增强结果。过度曝光的问题仍未解决。在我们的框架中，应该考虑曝光比输入图像小的图像，以获得更好的结果。我们将把这个问题作为未来的工作来解决。

VII. CONCLUSION

在本文中，我们提出了一个曝光融合框架和一个增强算法来提供准确的对比度增强。在此框架下，我们解决了三个问题:1)利用光照估计技术获得图像融合的权值矩阵;2)引入相机响应模型合成多曝光图像。3)找到最佳曝光比，使合成图像在原始图像曝光不足的区域得到良好的曝光。根据权值矩阵将输入图像与合成图像进行融合，得到最终的增强结果。实验结果表明，与几种最先进的替代方法相比，我们的方法有很大的进步。为了鼓励未来的工作，并允许更多的实验验证和比较，我们在项目网站6上公开了源代码，以及本文中用于重现实验的相关测试代码。我们还提供其他竞争对手的结果，以促进质量措施的验证。