【读点论文】Low-Light Image Enhancement Using Gamma Correction Prior in Mixed Color Spaces，对低光恢复细节高效预处理

Low-Light Image Enhancement Using Gamma Correction Prior in Mixed Color Spaces

Abstract

• 本文提出了一种基于倒置低光图像的大气散射模型的高效快速低光图像增强方法。透射图是根据原始图像在两个颜色空间中的两个饱和度得出的。由于难以估计原始图像的饱和度，因此将透射图转换为原始图像的平均值和最大值的函数。这两个值是使用伽马校正先验从给定的低光图像中估计出来的。此外，还提出了一种像素自适应伽马值确定算法，以防止增强不足或过度。所提出的算法速度很快，因为它不需要训练或细化过程。模拟结果表明，所提出的低光增强方案在计算简单性和增强效率方面均优于最先进的方法
• 论文地址：Low-light image enhancement using gamma correction prior in mixed color spaces | Pattern Recognition (literatumonline.com)

Introduction

• 在低光条件下拍摄的图像由于入射辐射不足，可见度特性较差。此外，低光图像还表现出对比度降低、色彩暗淡、像素范围狭窄和场景模糊等特点。图 1(a) 显示了低光图像样本及其直方图。图像的像素值集中在较低范围内。由于相应像素之间的颜色差异很小，因此很难区分低光图像中的细节，并且颜色很暗。计算机视觉应用（例如基于图像的分类、识别和理解模式）通常很难确保在对抗性低光环境中的可靠性。

  • 

  • 低光图像及其带有直方图的增强版本。（a）低光图像，（b）使用所提方法增强的图像。

• 低光图像增强 (LIE) 旨在提高图像对比度和细节并恢复图像亮度，同时防止噪声放大并实现实时性能。它应用于低光环境下的自动驾驶汽车 、人体姿势识别 和面部识别 等各个领域。已经进行了大量增强研究 ，特别是基于机器学习的 LIE 方法 近年来得到了积极的研究。LIE 方法大致可分为经典技术、Retinex 理论 、大气散射模型 (ASM) 和机器学习。下一节将简要回顾这些增强算法。

• 在本文中，我们重点介绍基于 ASM 的 LIE。ASM 是一种物理图像退化模型，广泛应用于计算机视觉和图像处理，尤其是在图像去雾框架中。ASM 可以通过反转低光图像应用于 LIE。该框架需要精确的传输图估计。在我们之前的工作 [Low-light image enhancement using inverted image normalized by atmospheric light] 中，传输是以色调、饱和度和值 (HSV) 颜色空间中单个未知饱和度分量的闭式形式推导出来的。对于选定的饱和拉伸函数，提出了一种图像饱和拉伸函数的自适应形状。我们之前的方法产生了可接受且具有竞争力的增强结果。然而，它有局限性，因为必须选择合适的拉伸函数并确定许多参数。在本文中，我们旨在解决我们方法的局限性。因此，我们提出了一种新颖且更快的基于 ASM 的 LIE 方法，该方法只有一个可调参数，并且无需使用伽马校正先验 (GCP) 选择饱和拉伸函数。我们研究的主要贡献如下：

  • ASM 中的透射图是在两个颜色空间中估计的：色调、饱和度和强度 (HSI) 和 HSV。估计的透射是以封闭形式导出的，包括 HSI 和 HSV 颜色空间中原始图像的两个未知饱和度分量

  • 估计的透射图包含两个未知饱和度分量，根据原始图像的最大值和强度值重建。这两个值是通过图像去雾中使用的 GCP 估计的。由于 GCP 使用逆策略，并且反转的低光图像看起来类似于模糊图像，因此可以直接将其应用于所提出的方法。

  • 由于低照度图像的光照环境各异，固定的伽马值可能会导致过度增强或增强不足。因此，我们引入了一种局部自适应的伽马值生成算法，因为对于照度高的像素使用较小的伽马值，而对于照度低的像素使用较大的伽马值。

• 所提出的 LIE 方法速度快，不需要训练和细化，并且对各种低光图像都能产生可接受的结果。上图 (b) 展示了使用所提出方法获得的增强图像及其直方图。直方图分布广泛，相应像素的颜色差异增加。因此，亮度和细节得到恢复。此外，颜色变得清晰，对比度得到改善。这些结果表明，所提出的算法可以解决 LIE

• 本文的其余部分安排如下。第 2 部分简要回顾了 LIE 方法。第 3 节介绍了基于两个颜色空间中的饱和度的透射图推导以及使用 GCP 的透射图估计。第 4 节介绍了实验结果和讨论。最后，第 5 节给出了总结性评论。

Related Works

Classical Method

• 基于像素变换的方法是一种空域图像增强算法，通过数学函数将像素值转换为其他值。非线性函数，如双曲正切和S形传递函数已被引入以增强图像对比度。基于像素变换的方法具有实现简单、速度快的优点。然而，这些算法没有考虑图像的整体分布，导致适应性差，增强性能有限。基于直方图的方法 [Image enhancement using exposure based subimage histogram equalization] 是一种经典的图像增强方法，可以保留或改变背景强度并修改图像直方图以增强图像质量。然而，这种方法经常导致过度的对比度增强。提出了一种使用输入图像的二维直方图的上下文和变分对比度增强方法 (CVC) 。在该方法中，通过最小化输入和均匀分布直方图之间的差异的 Frobenius 范数之和来获得平滑的目标直方图。然而，该算法不能完全恢复图像亮度。

• 傅等提出了一种基于多种增强技术结果融合的图像增强算法（MF）。MF采用线性加权融合策略，将基于S形函数和自适应直方图均衡化的多种图像增强技术进行集成，但算法复杂度较高，难以满足实时性的要求。应等提出了一种仿生双曝光融合算法（BIMEF），实现精确的对比度和亮度增强。该方法基于模拟相机响应模型生成源图像，利用光照估计技术设计图像融合的权重矩阵。但BIMEF未能完全恢复图像的亮度，色彩较为暗淡。

• 直接图像增强方法 建立了对比度测量，并通过改进该测量来增强图像。它可以提供更好的图像对比度和视觉上令人愉悦的高频分量，但是，它可能受到噪声放大以及增强不足或过度的问题的影响。已经报道了组合增强方法，它们在离散余弦 和离散小波 变换域中提供了基于直方图和直接方法的优势。 在这些算法中，高频系数被缩放，低频系数被修改以增强图像对比度。然而，这些方法偶尔会失败，导致颜色断裂以及增强不足或过度。

Retinex Method

• Retinex 理论 为 LIE 任务提供了一个灵活的框架。最初，单尺度 Retinex 方法 被提出来用于增强低光图像。然而，这种方法在图像边缘产生了光晕效应，并且由于在每个颜色通道中执行了对比度增强，导致彩色图像呈现灰色。为了解决这个问题，已经提出了各种多尺度 Retinex 方法 和变分 Retinex 模型。然而，这些算法既不能防止生成图像的颜色失真，也不能减少噪声放大或图像边缘附近的光晕效应。

• 已经应用了几种基于 Retinex 的 LIE 方法同时估计光照和反射率。Fu 等人 提出了一种 LIE 的概率方法，该方法使用有关光照和反射率的先验信息，通过最大后验公式同时估计线性域中的光照和反射率 (SRIE)。该方法适用于低光图像中光照适当的物体，但是，当应用于图像较暗的区域时，其成功率有限。Li 等人 提出了一种稳健的 Retinex 模型来改善包含密集噪声的低光图像的增强效果。

• 他们的研究重点是暗区固有噪声，并提供了具有良好色彩一致性的合理增强。然而，他们的结果显示由于过度平滑导致图像质量下降。郝等人提出了一种基于半解耦Retinex图像分解（SDD）的LIE方法。在该方法中，通过应用高斯总变分模型，仅使用输入图像逐步估计光照。使用输入图像和中间光照联合估计反射率。SDD在公共数据集上取得了良好的定性和定量性能。然而，它在语义和美学感知层面生成增强图像方面表现有限。

• 基于 Retinex 的增强方法会同时估计光照和反射率，但由于计算成本高，可能不适合实时应用。为了解决这一缺点，已经提出了其他基于 Retinex 的算法来估计光照，然后用它来估计反射率。恢复的图像是通过光照和反射率的乘积获得的。Wang 等人 提出了一种亮通滤波器，该滤波器与邻域亮度信息结合使用以保持图像的自然度 (NPE)。该方法提高了图像对比度并保持了自然亮度，而无需保留自然度的增强。NPE 以改善光照为代价来保持自然度，因此可能无法充分增强较暗的区域。

• Guo 等 提出了一种图像增强算法，该算法使用光照图估计 (LIME) 来估计初始光照，方法是考虑低光图像所有颜色通道的逐像素最大值。 随后，该算法通过优化多目标问题来计算精细光照。 虽然 LIME 表现出很强的性能，但在低光图像的适当照明区域会发生过度增强。 Ren 等 介绍了一种结合相机响应模型和传统 Retinex 模型 (LECARM) 的增强方法。 通过 LECARM，通过局部调整低光图像的曝光来获得增强图像。 尽管亮度恢复略低，但该方法仍取得了可接受的性能。

ASM Method

• 基于ASM ，LIE 尝试通过利用倒置低光图像和雾霾图像之间的相似性来估计透射图。Shi 等 将基于暗通道先验 (DCP) 的去雾方法 应用于倒置低光图像，获得了可接受的视觉质量。顾等 提出了一种基于 ASM 的新型低光图像退化模型。他们提出了一种物理上有效的图像先验，即大量自然清晰图像的统计规律。然而，这两种基于 ASM 的方法存在过度增强的缺点，即使图像的所有区域都变亮。最近，我们提出了一种使用大气光归一化的倒置图像 (IINAL) 的 LIE 算法。在该方法中，介质透射仅作为场景辐射饱和度的函数得出，并且通过遵循低光图像平均饱和度的简单拉伸函数来估计场景辐射度的图像自适应饱和度。虽然 IINAL 产生了可接受的性能，但它需要几个影响增强性能的参数，并且存在选择合适的饱和拉伸函数的问题。
• 基于 ASM 的 LIE 方案可以提供可接受的增强性能，同时计算复杂度较低。然而，这些方法需要一些先验信息，因为 ASM 会导致不适定问题。倒置的低光图像具有独特的特征。因此，仍然有机会开发一种合适的 LIE 方法，而不是直接应用雾霾去除方法。

Machine Learning Method

• 最近，使用机器学习的 LIE 技术引起了广泛关注。Lore 等人 提出了一种执行基于块的 LIE 和去噪的堆叠式自动编码器 (LLNet)。虽然 LLNet 实现了合理的亮度恢复，但它生成的颜色较暗并且没有恢复图像细节。 Wei 等人 提出了一种深度 RetinextNet，其中包括用于照明调整的分解和增强网络。然而，这种方法可能会导致明显的颜色偏移和不切实际的伪影。 Guo 等人 设计了一种零参考深度曲线估计 (Zero-DCE)，它通过使用深度网络的特定于图像的曲线估计来确定光增强。Zero-DCE 的亮度恢复略低，细节信息较弱。Lv 等人 介绍了一种基于多分支卷积神经网络 (AGLLNet) 的端到端注意引导方法。然而，AGLLNet 在增强图像中产生了令人讨厌的伪影和褪色的颜色。
• Jiang 等人 提出了一种无监督生成对抗网络（EnlightenGAN）。EnlightenGAN 的训练不需要低光和正常光图像对。它使用从输入本身提取的信息进行归一化配对训练，并对 LIE 问题中的一系列创新进行了基准测试。EnlightenGAN 产生了合理的亮度和细节恢复，并且可以轻松适应以增强各个领域的现实世界图像。 最近，Wang 等人 提出了一种条件归一化流 (LLFlow) 来模拟正常曝光图像的条件分布，并引入了一个受 Retinex 理论启发的提取光照不变颜色图的模块。LLFlow 对现有基准数据集取得了可接受的定量和定性结果。
• 流行的监督学习结构需要大规模的训练数据集，其中包括输入的低光图像和作为基本事实的正常图像。然而，基于机器学习的方法的性能通常会因未经训练的图像数据而下降。因此，基于机器学习的 LIE 仍然是一项具有挑战性的任务，因为还有改进的机会 。

Proposed Method

ASM for LIE

• 在去雾框架中，观察到的雾蒙蒙图像被建模为场景辐射和大气光的凸和。这种形成用 ASM 来描述。设 I (x) 为观察到的低光图像，其中 x 是图像内像素的位置。假设倒置的低光图像 1- I (x) 类似于雾蒙蒙图像，则倒置的低光图像的 ASM 表示如下：

  • $$1-I(x)=(1-J(x))t(x)+A(1-t(x))$$

  • 其中 J(x) 是要恢复的原始图像，A 是根据 1-I(x) 估计的大气光，t(x) 是透射图，假设三个颜色通道相同。为了获得倒置图像，使用低通滤波的 I 代替 I 来消除小噪声。应用 7×7 高斯核来获得倒置图像。在本文中，粗体符号用于表示具有三个颜色分量的向量。LIE 的 ASM 的目标是从 I(x) 恢复 J(x)。因此，如果透射图和大气光估计如下，则可以从单个图像中恢复 J(x)：

  • $$J(x)=\frac{I(x)-1+A}{t(x)}+1-A$$

  • 由于 A 很容易估计，因此在基于 ASM 的 LIE 中，t(x) 的准确估计至关重要

Transmission Map Estimation

• 在本研究中，我们旨在估计像素级传输图。（1）中所示的ASM方程通过A归一化如下：

  • $$\frac{1-I(x)}{A}=\frac{1-J(x)}{A}t(x)+1-t(x)$$

  • 为了简化表达式，我们令 $L(x)=(1-I(x))/A和R(x)=(1-J(x))/A$。L(x) 和 R(x) 分别是经 A 归一化的反转低光图像和反转场景辐射度。(3) 中的关系具有以下形式：

  • $$L(x)=R(x)t(x)+1-t(x),(4)$$

  • 由于根据 (4) 估计的 t(x) 是一个不适定问题，因此可以应用先验信息（例如 DCP ）来获取 t(x) 值。DCP 假设预定义块内的最暗强度为 0。 此假设可能导致增强不成功，需要额外的后处理或细化过程。

• 在本研究中，我们使用（4）中的像素级最大值运算，假设t（x）对于所有颜色通道相同。根据最大值运算，得到以下关系：

  • $$\underset{c}{\max }L(x)=\underset{c}{\max }R(x)t(x)+1-t(x)$$

  • 其中 c={红色、绿色、蓝色}。例如，maxcL(x) 运算返回 L(x) 的红色、绿色和蓝色值的单个最大值。从 (5)，我们可以得到传输图，如下所示：

  • $$t(x)=\frac{1-M_L(x)}{1-M_R(x)}$$

  • 其中 $M_L(x)=ma{x}_{c}L(x)$ 和 $MR(x)=ma{x}_{c}R(x)$。要获得 t(x)，必须确定 MR(x)。然而，直接估计 MR(x) 是一项艰巨的任务。我们使用 HSI 和 HSV 颜色空间中的两个饱和度值来估计传输图。在 HSV 颜色空间中提出了基于饱和度的传输图估计算法，该算法具有 (4) 中的最小运算，并成功应用于 LIE。对于像素位置 x 处的给定彩色图像 K，令 $S_K^{HSI}(x) $ 和 $S_K^{HSV}(x)$ 分别为 HSI 和 HSV 颜色空间的饱和度值。在 HSI 颜色空间中，K(x) 的饱和度值定义如下：

  • $$S_K^{HSI}(x)=1-\frac{m_K(x)}{{\mu }_K(x)},(7)$$

  • 其中 mK(x) 是最小值，μK(x) 是位置 x 处三个颜色值的平均值。 HSV 颜色空间中的饱和度值定义如下

  • $$S_K^{HSV}(x)=1-\frac{m_K(x)}{M_K(x)},(8)$$

  • 从（7）和（8）可推导出以下关系

  • $$\begin{gathered} m_K(x)=(1-S_K^{HSI}(x)){\mu }_K(x),(9) \\ {m}_K(x)=(1-S_K^{HSV}(x))M_K(x),(10) \end{gathered}$$

  • 通过使（9）和（10）等式相等，我们可以得出以下等式：

  • $$M_K(x)={\mu }_K(x)\frac{(1-S_K^{HSI}(x))}{(1-S_K^{HSV}(x))}$$

  • 利用（11），我们可以得到（6）的传输图，如下所示：

  • $$t(x)=\frac{1-{\mu }_L(x)\frac{1-S_L^{HSI}(x)}{1-S_L^{HSV}(x)}}{1-{\mu }_R(x)\frac{1-S_R^{HSI}(x)}{1-S_R^{HSV}(x)}}，(12)$$

  • 式（12）中有三个未知数：μR(x)、mR(x)和MR(x)。未知值μR(x)使用式（4）中的平均运算计算，如下所示：

  • $${\mu }_L(x)={\mu }_R(x)t(x)+1-t(x)$$

  • 因此，μR(x) 可由下式获得：

  • $${\mu }_R(x)=\frac{{\mu }_L(x)-1}{t(x)}-1,(14)$$

  • 将（14）代入（12），t（x）计算如下：

  • 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 这是 t(x) 的一阶方程，其解析计算如下

  • 

• 综上所述，估计的 t(x) 是 HSI 和 HSV 颜色空间中两个饱和度的函数。然而，估计 $S_R^{HSV}$ 和 $S_R^{HSI}$ 是一项艰巨的任务，因为直接估计这两个饱和度需要一些不等式约束和确定饱和度拉伸函数 。在本文中，我们提出了一种使用 GCP 来有效估计 t(x) 的方法。

Gamma Correction Prior

• 在去雾框架中，GCP 采用逆向策略提出。该先验基于这样的假设：倒置的雾化图像在视觉上也与低光图像相似。GCP 表示如下：

  • $$1-H_v(x)=(1-H(x){)}^{\Gamma }$$

  • 其中 H(x) 为模糊图像，Hv(x) 为虚拟结果，Γ 为伽马校正因子。Hv(x) 用作估计透射图的有效初始图像，并成功应用于模糊图像的恢复

• 本文使用 GCP 来估计传输图。此外，由于 L(x) 是倒置的微光图像，因此在 GCP 中将其视为 1-H(x)。我们将 GCP 修改为

  • $$V(x)=L(x{)}^{\Gamma }$$

  • 其中 V(x) 是处理后的虚拟图像，可以视为 1-Hv(x)。使用 V(x)，可以通过应用 (3) 中的关系 R(x)=(1-J(x))/A 来计算潜在增强的图像，如下所示：

  • $$J_v(x)=1-AV(x),(19)$$

  • 其中 $J_v(x)$ 是使用 V(x) 获得的潜在增强图像。在 (19) 中，R(x) 是经 A 归一化的恢复倒置图像，被视为 V(x)。下图 显示了根据不同 Γ 值得到的 I(x)、Jv(x) 和 J(x)。处理后的虚拟图像在图像强度方面表现出良好的恢复性能，但在颜色或细节恢复方面表现出较差的性能。此外，随着 Γ 值的增加，强度恢复得很好，但颜色和细节会丢失。因此，V(x) 的强度信息可有效地用于 LIE。

  • 

  • 使用具有各种 Γ 值的虚拟处理图像 V(x) 恢复低光图像。

• （16）中所示的所提出的传输图包含两个饱和值。此外，基于（7）和（8），所提出的 t(x) 使用 $1-S_K^{HSV}(x)=m_K(x)/{\mu }_K(x)和1-S_K^{HSI}(x)=m_K(x)/M_K(x)$ 表示的两个关系进行简化。因此，t(x) 描述如下：上图. 使用具有各种 Γ 值的虚拟处理图像 V(x) 恢复的低光图像。

  • 

  • t(x)的最终简化形式如下：

  • 

  • 重新形成的 t(x) 是 HSI 和 HSV 颜色空间强度值的函数。如果已知 μR(x)（HSI 强度）和 MR(x)（HSV 强度），则可以确定 t(x)。使用 V(x) 估计两个未知值 μR(x) 和 MR(x)，如下所示：

  • $$\begin{gathered} {\mu }_R(x)\approx {\mu }_v(x) \\ {M}_R(x)\approx M_v(x) \end{gathered}$$

  • 最后，t(x) 估计如下：

  • 

  • 使用估计的 t(x) 恢复的图像如下

  • $$\bar{J}(x)=\frac{I(x)-1+A}{max(t(x),t_0)}+1-A$$

  • 其中 t0 是一个较小的正常数，用于防止除零。一般情况下，该值设置为 0.1。

• 下图 示出了基于倒置低光图像 L 和虚拟图像 V 恢复低光图像的示例过程。在下图 中，蓝色虚线框包含图像 V，从中计算出 $μ_V(x) $ 和 $M_V(x)$。从 L，我们可以使用 GCP 计算 V 并估计 $μ_V(x) $ 和 $M_V(x)$。红色虚线框显示了参考图 J 和计算出的 R、μR(x) 和 MR(x)。从 V 估计出的 $μ_V(x) $ 和 $M_V(x)$ 对与从倒置参考图 R 计算出的 μR(x) 和 MR(x) 对看起来没有太大区别。使用两个已知值（μL(x) 和 ML(x)）和两个估计值（μV(x) 和 MV(x)），根据 (24) 计算传输图。使用 (25) 获得的恢复的低光图像显示在右上角。

  • 

  • 基于所提方法恢复低照度图像的示例过程。

Effect of Gamma Value

• 如 (24) 所示，t(x) 是 $μ_V(x) $ 和 $M_V(x)$ 的函数。由于 $μ_V(x) $ 和 $M_V(x)$ 是使用 Γ 值确定的，因此所提出的 LIE 方法只有一个参数 Γ。低光图像具有各种照明条件，因此，单个固定的 Γ 值不能确保增强各种低光图像。 总体而言，较大的 Γ 值适用于照度非常低的图像。较小的伽马值有利于相对低照度的图像增强。

• 为了确定 Γ 值与低光图像之间的关系，我们使用 GLADNet 低光图像数据集 进行了一项实验，其基本事实包括 5000 个图像对。首先，我们根据给定低光图像 I 中空间位置上的三个颜色值的平均最大值 (Zmax)，将 5000 张低光图像以 0.1 的间隔分成 9 组。使用最大值操作来避免将高度饱和的单一颜色的彩色像素视为低光像素。其次，通过获取具有 21 个不同 Γ 值的 t(x) 来执行图像增强。在这种情况下，Γ 值通过以 0.5 的间隔从 1 分解到 11 来使用。针对 GLADNet 数据集测试了三个评估指标，包括峰值信噪比 (PSNR)、结构相似性指数 (SSIM) 和 CIEDE2000 色差 。SSIM 衡量算法对结构信息的保留能力，CIEDE2000 衡量色彩保真度。SSIM 的取值范围是 -1 到 1，对于两幅相同的图像，最大值为 1。此外，CIEDE2000 可以精确测量两幅图像之间的颜色差异，取值范围是 0 到 100，值越小，表示颜色保留得越好。

• 下图 显示了 GLADNet 数据集的三个评估指标。下图 中突出显示了排名最高的三个值。具有高增强性能的 Γ 值与平均最大值具有近似指数函数。总之，根据给定的低光图像设置自适应 Γ 值可以产生良好的增强效果。

  • 

  • 突出显示了 GLADNet 数据集 中低光图像增强中排名最高的三个客观指标。(a) PSNR 值，(b) SSIM 值，© CIEDE2000 值。

• 在本文中，我们提出了一种确定低光图像像素自适应伽马值的简单方法。低光图像 I(x) 的每个像素的像素自适应伽马值 Γ(x) 被确定为一个简单的指数递减函数，其最大值 (Γmax) 和最小值 (Γmin=1) 限制如下：

  • $$\Gamma (x)=a{e}^{-M_I(x)}+b,(26)$$

  • 其中 a 和 b 是决定指数函数形状的系数，即

  • $$a=\frac{{\Gamma }_{max}-1}{1-e^{-1}},b={\Gamma }_{max}-a$$

• 下图 显示了使用像素自适应 Γ(x) 值获得的增强结果。当图像强度较低时，Γ(x) 较大，当图像强度相对较高时，Γ(x) 较小。在所有模拟中，参数 Γmax 固定为 6，以使用所提出的方法增强低光图像。

Simulation Results

• 为了评估所提增强方法的性能，我们根据以下四个类别选择了 15 种最先进的算法进行比较：经典方法（CVC 、MF 和 BIMEF ）、Retinex 方法（SRIE 、SDD 、NPE 、LIME 和 LECARM ）、ASM 方法（IINAL ）和机器学习方法（LLNet 、RetinexNet 、Zero-DCE 、AGLLNet 、EnlightenGAN 和 LLFlow ）。所比较的增强方法的代码均从各自的项目网站下载。

  • 

  • 各种算法的执行时间（单位：秒）。

Computation Time

• 所提方法在 Intel i7-107000K CPU @ 3.80 GHz 和 48 GB RAM 上实现，未启用多线程加速。其代码在 Linux Ubuntu 18.04.6 LTS 环境中以未优化的 Python 编写。比较方法在相同环境中实现。执行时间平均超过 20 次操作。图像读取和写入的持续时间被排除在外。 上表 显示了不同图像大小的执行时间。所提出的方法在所有图像上实现了最快的执行时间。IINAL 方案的执行时间排名第二，其总体平均执行时间比所提出的算法慢约 65%。基于 Retinex 的算法（包括 SRIE、SDD 和 NPE）具有较高的计算成本

Quantitative Comparison

• 为了进行定量比较，我们使用了 GLADNet 数据集 ，其基本事实包含 5000 个图像对。下表 列出了各种 LIE 算法在 PSNR、SSIM 和 CIEDE2000 方面的平均性能。排名前三的性能以粗体、下划线和斜体文本突出显示。此外，所提出的方法表现出最佳的 PSNR 和 CIEDE2000。所提出算法的 SSIM 得分在 16 种算法中排名第七。如下表所示，基于融合的经典方法，例如 MF 和 BIMEF，实现了较高的 PSNR 和 SSIM 分数。IINAL 具有较高的 PSNR 分数，LECARM 和 LLFlow 实现了良好的色彩恢复。CVC 和 SRIE 的定量分数较低。总之，所提出的方法 IINAL、LECARM、MF、BIMEF 和 LLFlow 在全参考图像质量测量中取得了良好的成绩

  • 

  • 使用 GLADNet 数据集对各种算法进行定量比较 ，从左到右 Method PSNR↑ SSIM↑ CIEDE2000↓。

• 下图 展示了我们提出的方法与最先进的 LIE 方法增强图像质量的比较。这表明 CVC 无法恢复亮度和颜色信息。 此外，MF、BIMEF、SRIE 和 SDD 不能完全恢复图像的亮度。NPE 实现了可接受的亮度恢复，但图像细节略低。然而，尽管 LIME 实现了合理的增强性能，但在样本图像中观察到了增强不足和过度增强。 尽管亮度恢复略低，但 BIMEF 的结果显示出可接受的性能。IINAL 产生了合理增强的图像，细节略有过度增强。

  • 

  • GLADNet 数据集 的低光图像恢复结果样本，该数据集包含 5000 个低光和地面真实图像对。

• LLNet 亮度恢复效果良好，但细节恢复程度较差，色彩较暗。此外，RetinexNet 会产生明显的色彩偏移和不真实的伪影。使用 Zero-DCE 获得的增强结果亮度恢复程度略低，细节信息较弱。AGLLNet 在恢复的图像中会产生不良伪影。尽管 EnlightenGAN 表现出良好的亮度恢复效果，但它会产生不可忽略的色彩偏移。LLFlow 表现出较弱的亮度恢复和将光变黑的效果。相反，所提出的方法在产生高亮度的同时，对颜色信息表现出了可接受的恢复性能，并且能够在较短的执行时间内有效地恢复图像的细节。

Qualitative Comparison

• 为了进行定性比较，我们使用了四个没有参考图像的公共数据集：DICM（44 张图像）、LIME（10 张图像）、Fusion（16 张图像） 和 VV（24 张图像）。增强的低光图像可以从亮度恢复、颜色恢复和图像细节恢复方面进行检查。下图 定性比较了我们提出的方法与 DICM 数据集上最先进的 LIE 方法的结果。如下图 所示，CVC 无法恢复亮度。使用 CVC 获得的增强图像显示的结果与上图 和上表 中所示的定量分数一致。MF 和 NPE 获得的结果在非常低强度的区域中显示出颜色偏移。SRIE 不能完全恢复图像的亮度。此外，BIMEF 不能完全恢复图像的亮度并显示暗淡的颜色。尽管计算成本很高，但 SDD 并没有产生预期的结果。虽然 LIME 可以产生良好的视觉质量，但它往往会产生过度增强的图像。

  • 

• LECARM 和 IINAL 实现了良好的视觉质量。LLNet 实现了可接受的亮度，但其颜色偏移明显。基于机器学习的方法（包括 LLNet 和 RetinexNet）为自然测试图像生成了不切实际的增强图像。此外，尽管 Zero-DCE 和 AGLLNet 获得的结果表现出合理的亮度恢复，但它们产生了微弱的颜色和不切实际的伪影。 EnlightenGAN 显示了良好的图像细节和合理的亮度。LLFlow 表现出轻微的污迹伪影。然而，所提出的方法提供了可接受的亮度、图像细节和颜色信息。

• 图 8、9 和 10 分别显示了 LIME、Fusion 和 VV 数据集的 LIE 结果。这三个数据集的增强结果也趋向于与图 7 所示的 DICM 数据集的结果相同。总之，使用所提方案获得的 LIE 结果在亮度、细节和颜色恢复方面与现有方法相当或优于现有方法。考虑到计算时间，所提方法的优势是相当大的。

  • 

  • 

  • 

• 为了进一步比较，使用非参考图像定量评估指标来验证增强图像的性能。这些指标包括自然度图像质量评估器 (NIQE) 、对比度失真的无参考图像质量度量 (NIQMC) 和盲/无参考图像空间质量评估器 (BRISQUE) 。NIQE 是一种流行的盲图像质量评估指标，基于构建质量感知统计特征集合，该集合源自简单而成功的空间域自然场景统计模型。NIQMC 可以确定两幅图像之间的高级对比度和更高质量的图像。BRISQUE 使用在空间域中运行的基于自然场景统计的失真通用盲/无参考图像质量评估模型来衡量视觉质量。对于 NIQE 和 BRISQUE，值越低表示图像质量越高，对于 NIQMC，值越高表示图像质量得到增强。

• 下表 显示了四个数据集的平均 NIQE 值的比较。结果表明，LLFlow 的平均 NIQE 得分最高，其次是 EnlightenGAN 和所提出的方法。LLNet 和 RetinexNet 的平均 NIQE 值明显高于其他方法，它们的增强结果不切实际。

  • 

  • 四个数据集的平均 NIQE 值。

• 下表 显示了四个数据集的平均 NIQMC 得分。最高 NIQMC 得分由 IINAL 获得。由于 NIQMC 通过测量给定图像的局部细节和全局直方图来评估图像质量，因此对于对比度增加或过度增强的图像，可以获得较高的 NIQMC 分数。因此，增强方法会产生不良的过度增强。但是，这种评估方法没有考虑图像的亮度恢复效果如何以及是否存在不切实际的伪影。

  • 

  • 四个数据集的平均 NIQMC 值，从左到有 DICM LIME Fusion VV Average。

• 下表 列出了平均 BRISQUE 分数。所提出的算法获得了最高排名。CVC、LECARM 和 LLFlow 的 BRISQUE 分数很高。

  • 

  • 四个数据集的平均 BRISQUE 值。

Conclusion

• 本文提出了一种高效、快速的 LIE 方法。空间自适应透射图是混合颜色空间中场景辐射的两个饱和度分量的函数。 随后，将导出的透射图转换为强度和最大值的函数。使用 GCP 估计这两个值，从而生成一个用于确定透射图的参数。此外，还提出了一种像素自适应伽马值估计算法。通过将我们的方法的结果与其他 15 种针对不同低光图像的方法的结果进行比较，我们对我们的方法的结果进行了评估。模拟结果表明，所提出的方法在无参考和全参考图像质量测量方面产生了合理的性能，并且在计算简单性和增强效率方面优于最先进的方法。未来，我们将努力以更高的精度估计参数值。此外，我们将努力利用所提出的基于模型的方法中的知识来设计基于机器学习的 LIE 网络。