基于 Retinex 的深度自正则化弱光图像增强

最新推荐文章于 2024-07-08 14:02:05 发布

Phoenixtree_DongZhao

最新推荐文章于 2024-07-08 14:02:05 发布

阅读量2.1k

点赞数

分类专栏： MyDLNote-Enhancement Intrinsic Image Decomposition low-light

本文链接：https://blog.csdn.net/u014546828/article/details/114259010

版权

MyDLNote-Enhancement 同时被 3 个专栏收录

52 篇文章 10 订阅

订阅专栏

low-light

10 篇文章 8 订阅

订阅专栏

Intrinsic Image Decomposition

6 篇文章 2 订阅

订阅专栏

A Switched View of Retinex: Deep Self-Regularized Low-Light Image Enhancement

[PAPER]

Abstract

Self-regularized low-light image enhancement does not require any normal-light image in training, thereby freeing from the chains on paired or unpaired low-/normalimages. However, existing methods suffer color deviation and fail to generalize to various lighting conditions. This paper presents a novel self-regularized method based on Retinex, which, inspired by HSV, preserves all colors (Hue, Saturation) and only integrates Retinex theory into brightness (Value). We build a reflectance estimation network by restricting the consistency of reflectances embedded in both the original and a novel random disturbed form of the brightness of the same scene. The generated reflectance, which is assumed to be irrelevant of illumination by Retinex, is treated as enhanced brightness. Our method is efficient as a low-light image is decoupled into two subspaces, color and brightness, for better preservation and enhancement. Extensive experiments demonstrate that our method outperforms multiple state-of-the-art algorithms qualitatively and quantitatively and adapts to more lighting conditions.

第一部分，提出问题：自正则化弱光图像增强在训练中不需要任何正常光照图像，从而从配对或未配对的低/正规图像链中解放出来。然而，现有的方法存在颜色偏差，不能适用于各种光照条件。

第二部分，方法介绍：本文提出了一种基于 Retinex 的自正则化方法，该方法受HSV 的启发，保留所有颜色 (色相、饱和度)，只将 Retinex 理论融入亮度(值)中。本文建立了一个反射率估计网络，在原来和一个新的随机扰动形式的亮度相同的场景嵌入了反射率的一致性。生成的反射率与 Retinex 的光照无关，被视为增强的亮度。本文的方法是有效的，因为低光图像解耦成两个子空间，颜色和亮度，以更好地保存和增强。

第三部分，实验结论：大量的实验表明，本文的方法在质量和数量上优于多种最先进的算法，并适应更多的光照条件。

Introduction

Images captured under insufficient illumination often result in poor visual effect, challenging aesthetic quality as well as performance of many downstream computer vision tasks, such as object recognition and semantic segmentation. Hence, low-light image enhancement has attracted huge research interest.

Over the past few decades, a series of algorithms have been proposed to enhance low-light images, including conventional algorithms [1,10–12,17] and deep learning-based methods [6, 9, 15, 19, 22, 23, 25]. In particular, self-regularized learning only requires low-light images in training, which frees from the constraints on paired or unpaired low-/normal-light datasets, and has become a trending research topic [6,23–25]. Guo et al. [6] designed a deep curve estimation method, regularized by non-reference loss functions. The enhanced images are comparable to those generated based on supervised or generative adversarial network (GAN) algorithms. However, this method suffers color deviation and fails to adapt to various lighting conditions.

研究现状，提出关键问题：色差问题

先前的工作提出了一系列增强弱光图像的算法，包括传统算法 [1,10 12,17] 和基于深度学习的方法 [6,9,15,19,22,23,25]。特别是自正则化学习在训练时只需要弱光图像，它不受成对或未成对弱/正光照数据集的约束，已成为一个热门的研究课题[6,23 25]。Guo 等人设计了一种用非参考损失函数正则化的深度曲线估计方法。增强后的图像可与基于监督或生成对抗网络 (GAN) 算法生成的图像相媲美。但这种方法存在色差，不能适应各种光照条件。

This paper presents a novel self-regularized low-light image enhancement method based on Retinex [12], dedicating to reducing color deviation and adapting to more lighting conditions. This method, inspired by HSV color space, preserves all colors (Hue, Saturation) and only integrates Retinex theory into brightness (Value). Besides, since the absence of paired or unpaired low-/normal-light images, this method proposes a novel random brightness disturbance approach to obtain another abnormal brightness of the same scene. According to Retinex, reflectances embedded in both the original and the disturbed form of the brightness should be consistent. Based on this, this method designs a deep reflectance estimation network. The generated reflectance is treated as enhanced brightness, which has been presented in some existing methods [5, 7, 19, 24]. Finally, an enhanced image is generated by regrouping the original colors and the enhanced brightness. Our method is efficient as a low-light image is decoupled into two subspaces, color and brightness, for better preservation and enhancement. A typical result is shown in Fig.1. Our result has a satisfactory performance in terms of colors and brightness.

本文方法思路：核心思路 - 获取同一场景的另一个异常亮度

本文提出了一种基于 Retinex 的自正则化微光图像增强方法，旨在减少色差，适应更多的光照条件。该方法受 HSV 色彩空间的启发，保留了所有的色彩(色相、饱和度)，只将 Retinex 理论融入亮度(值)。此外，该方法还针对弱光照/正常光照图像缺少成对或未成对的情况，提出了一种新的随机亮度干扰方法来获取同一场景的另一个异常亮度。根据 Retinex 的研究，包含在原始和扰动形式的亮度中的反射率应该是一致的。在此基础上，该方法设计了一个深度反射率估计网络。产生的反射率被视为增强的亮度，这已经在一些现有的方法中提出[5,7,19,24]。最后，通过重新分组原始颜色和增强的亮度生成增强图像。本文的方法是有效的，因为低光图像解耦成两个子空间，颜色和亮度，以更好地保存和增强。结果如图 1 所示。

Our contributions are summarized as follows: (1) A novel self-regularized method is proposed for lowlight image enhancement, which, inspired by HSV color space, preserves all colors (Hue, Saturation) and only integrates Retinex into brightness (Value). (2) We design a deep reflectance estimation network, regularized by the consistency of reflectances embedded in both the original and a novel random disturbed form of the brightness of the same scene. (3) Extensive experiments demonstrate the effectiveness of our method and its superiority over state-of-the-art methods.

(1) 在 HSV 颜色空间的启发下，提出了一种新的自正则化弱光图像增强方法，该方法保留了所有颜色(色相、饱和度)，只将 Retinex 与亮度(值)结合。

(2) 设计了一个深度反射率估计网络，通过嵌入在同一场景亮度的原始和新的随机扰动形式的反射率的一致性来正则化。

(3) 大量的实验证明了本文方法的有效性和优于最新的方法。

Methodology

We present our method in Fig.2. A low-light image is normalized to [0,1] and described by colors (Hue, Saturation) and brightness (Value) in HSV color space. We design a random brightness disturbance approach to obtain another abnormal brightness of the same scene (V 0 in Fig.2). The original and the disturbed form of brightness share the same reflectance estimation network. We treat the generated reflectance as enhanced brightness. Finally, an enhanced image is generated by regrouping the original colors and the enhanced brightness in the direction of channel, converting to RGB color space, and regulating to [0,255]. We next detail the advantages of HSV color space for low-light image enhancement in Sec.2.1, the novel random brightness disturbance in Sec.2.2, and the reflectance estimation network in Sec.2.3.

Figure 2: The framework of our method. A low-light image is described by colors (Hue, Saturation) and brightness (Value) in HSV color space. The colors are preserved, and only the brightness is enhanced by the reflectance estimation network. An enhanced image is generated by regrouping the original colors and the enhanced brightness. The details of the reflectance estimation network are shown at the bottom.

方法的框架。在 HSV 颜色空间中，用颜色 (色相、饱和度) 和亮度(值)来描述弱光图像。在保留颜色的同时，通过反射率估计网络只提高亮度。通过重新分组原始颜色和增强的亮度生成增强图像。反射率估计网络的细节显示在图的下方。

HSV Color Space

HSV色彩空间的优势归纳如下:

(1) H、S、V通道相互正交，亮度和颜色不耦合

(2) V 通道对应于弱光图像的最大通道，即每个像素的值为 R、G、B 通道中对应像素的三个值的最大值。最大的通道具有最大的熵，它提供了最大数量的信息来增强弱光图像。

通过一个简单的实验来说明 HSV 颜色空间的优势。从 SIC E数据集[3]的第二部分中随机选取一对低/正常光照的图像，将其转换为 HSV 颜色空间。将弱光图像的 H 通道和 S 通道与对应的法线光图像的 V 通道在通道方向连接，生成重组图像，并将其转换回RGB颜色空间。如图 3 所示，重组后的图像与正常光线下的图像颜色相当。因此，对于基于 HSV 颜色空间的微光图像增强，只需要对亮度进行增强，色彩完全来源于微光图像。

Random Brightness Disturbance

为了适应不同的光照条件，由于 Retinex 理论[12]假设在不同光照条件下捕捉到的同一场景图像具有相同的反射率，本文将嵌入在亮度中的反射率视为增强的亮度。在缺乏 ground truth 的情况下，设计了一种基于亮度的随机干扰方法 (V通道)，通过一个随机指数的幂函数来实现，获得同一场景的另一个异常亮度。这个被扰动的形态应该与原始形态有相同的反射率。

此外，该非线性函数的优点是: (1) 幂函数的输入输出范围为[0,1]，避免了溢出截断造成的信息损失。(2) 幂函数为单调递增，保持了原始亮度与扰动亮度梯度方向的一致性。(3) 随机指数能够增加扰动的多样性。

这种随机亮度扰动可以表示为:

其中 V(x) 为原始 V 通道的像素值，V‘(x)为扰动 V 通道，γ 为随机值。如果 V 的平均值小于 0.5，γ 的范围为 [0,1]，反之为 [1,5]。

此外，值得注意的是，这种方法并不等同于数据增强。本文的干扰的目的是限制反射系数的一致性，而不是扩展训练数据集。

Reflectance Estimation Network

本文建立了基于 Retinex 变量的深度反射率估计网络，而不是像以前那样通过学习分解网络来获取反射率和光照，减少了信息损失。原始亮度 V 和干扰亮度 V’ 共用一个网络。此外，还定义了几个损耗函数来实现网络的自正则。

Retinex Variant

Retinex 理论[12]旨在将图像分解为反射率和光照。在同一场景的不同光照条件下，反射率应该是一致的，同时假设光照是平滑的。在我们的任务中，V 和 V’ 可以分解为

其中，R 和 I 分别为 V 的反射率和照度，R' 和 I’ 分别为 V’ 的反射率和照度， $\circ$ 为元素积。

将反射率视为曝光良好的亮度。因此，把 I 作为计算r的中间变量，形式上，等式 2 和等式 3 可以重写为

L 和 L’ 是 I 和 I' 的倒数也就是 L = 1/I, L = 1/I'

这种 Retinex 变体的主要优点是它摒弃了大多数基于 Retinex 的方法所使用的重建损失，即计算 V 和 R $\circ$ I 的差值。因此，这可以避免重建过程中的信息丢失。另外值得注意的是，本文直接在网络中生成光照的逆，而不是先获取光照，再计算其逆[19]。

Network Architecture

反射率估计网络以亮度作为输入，输出嵌入其中的反射率。注意 V 和 V' 共用一个网络。

如图底部所示 2，反射率估计网络采用典型的 U-Net[18]，包含19个卷积层，4个下采样步骤和4个上采样步骤。每个下采样步骤是一个步幅为2的最大池化操作。每个上采样步骤包含一个双线性插值，将特征图的高度和宽度扩展到原特征图的两倍。此外，在两种空间分辨率调节操作之间包含了两个级联卷积层。每个卷积层包括一个带填充的3 - 3卷积操作，然后是一个矫正线性单元(ReLU)激活函数。我们丢弃任何批处理规范化层。此外，跳过连接将下采样过程的特征映射按照空间分辨率拼接到上采样过程的对应特征映射上，增加上采样步骤的信息量。最后，反射率由输入照度与图2中绿色的反照度的乘积得到。