R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network

论文链接

github链接

摘要

针对问题：在弱照明条件下拍摄的图像会严重降低图像质量。解决一系列低光图像的退化问题，可以有效地提高图像的视觉质量和高级视觉任务的性能。

做法：在本篇论文中，提出了一种新的基于Retinex的真实低光到真实正常光的网络（R2RNet）用于低光图像增强，该网络包括三个子网：Decom-Net，Denoise-Net，Relight-Net。这三个子网分别用于分解、去噪、对比度增强和细节保持。我们的R2RNet不仅使用图像的空间信息来提高对比度，而且还使用频率信息来保留细节。因此，我们的模型对所有退化图像都取得了更稳健的结果。与以前在合成图像上训练的大多数方法不同，我们收集了第一个大规模的真实世界配对低/正常光图像数据集（LSRW数据集）满足训练要求，使我们的模型在现实世界场景中具有更好的泛化性能

结果：在公开的数据集上进行的大量实验表明，我们的方法在定量和视觉上都优于现有的最先进的技术。此外，我们的结果表明，高级视觉任务（即人脸检测）的性能可以通过使用我们的方法在低光条件下获得的增强结果，可以有效地改进。我们的代码和LSRW数据集是可见的在：https://github.com/abedef2000/R2RNet。

1. 介绍

图像捕获中照度不足从多个方面严重影响图像质量，如低对比度和低可见度。消除这些退化并将低光图像转换为高质量的清晰图像有助于提高高级视觉任务的性能，如图像识别、目标检测、语义分割等，也可以提高智能系统在自动驾驶、视觉导航实际应用中的性能。因此，低光图像增强是非常需要的。

在过去的几十年里，已经采用了大量方法来增强在光照不足条件下捕获的退化图像。这些方法在提高图像对比度方面取得了很大进展，可以获得具有更好视觉质量的增强图像。此外除了对比度，低光图像的另一个特殊退化是噪声。许多方法在预处理或后处理中使用了额外的去噪方法。然而，使用去噪方法作为预处理会导致模糊，而应用去噪作为后处理会导致噪声放大。最近，一些方法设计了有效的模型来同时进行去噪和对比度增强，并获得了令人满意的结果。

值得注意的是，许多以前的方法都集中在图像的空间域信息上进行增强，频域图像处理也是图像增强领域的重要方法之一。高频信息通常表示图像细节（例如轮廓和边缘）或噪声。因此我们提出了一种用于低光图像增强的新型实低到实正网络，成为R2RNet。我们的网络设计基于Retinex理论，包括三个子网：Decom网、Denoise网和Relight网。Decom网旨在在Retinex原理的指导下，将输入的光图像分解为照明图和反射图。Denoise网将分解结果作为输入，并使用照明图作为约束来抑制反射中的噪声，以获得具有更好视觉质量的分解结果。Decom网络获得的照明图和Denoise网络获得的反射图被发送到RelightNet，以提高图像的对比度和亮度。在Decon-Net和Denoise-Net中，我们只利用了低光图像的空间信息，因为Decom-Net的目的是将输入图像分解为照明图和反射图，而无需任何进一步处理。根据Retinex理论，反射图包含图像的固有属性，因此，如果使用频率信息来抑制Denoise-Net中的噪声，则可以同时抑制反射率图的细节。因此，我们没有使用在Decom网和denoise网中的频率信息，我们利用图像的空间信息来提高图像对比度，并基于快速傅里叶变换提取图像的频率信息，以更好地保留Relight网络中的图像细节。通过设计良好的网络，我们的方法可以适当地提高图像对比性，保留更多的图像细节，并抑制噪声。此外，通过在低光照条件下使用我们的方法获得的增强结果，可以有效地提高高级视觉任务的性能。

低光图像增强任务的另一个难点是基于学习的模型需要大量数据进行训练，而模型的能力通常与训练数据的质量密切相关。然而，收集足够的真实世界数据非常困难，特别是对于成对的图像。大多数基于学习的增强方法使用合成数据集进行训练，这限制了它们在现实场景中的泛化能力。据我们所知，现有的现实世界低光图像数据集只有LOL数据集和SID数据集，但这两个数据集中包含的图像数量无法满足深度神经网络的训练要求。因此，我们收集了第一个大规模现实世界配对的低/正常图像数据集，名为LSRW数据集训练。

本文的其余部分组织如下。第二节简要回顾了低光增强方法、图像去噪方法和低光图像数据集的相关工作。第三节介绍了所提出的R2RNet的架构和损失函数设置。第四节介绍了实验结果，第五节提供了一些结论性意见。

总结：

我们的R2RNet利用了spatial和frequency信息，从而获得了高质量的视觉图像。该网络由三个子网络：Decom-Net、Denoise-Net、Relight-Net。

Decom-Net：在Retinex理论指导下将输入的低光图像分解为照明图（illumination-map）和反射图（reflectance-map，反应图像的内在属性）。产生illumination map。仅利用spatial，提升对比度。

Denoise-Net：将分解结果作为输入，以光照图为约束条件，抑制反射率中的噪声。产生reflectance map。仅利用spatial，如果使用频率信息来抑制噪声，则反射图中的细节会被同时抑制。

Relight-Net：提高图像的对比度和亮度。基于快速傅里叶变换提取图像的频率信息，更好的保留图像中的细节。

我们的网络提升了图像的对比度，保留了图像细节，抑制了噪音。

基于深度学习的模型需要大量的数据用于训练，而且模型的能力与训练图像的质量息息相关，我们收集了图像数据集LSRW用于网络训练。

2. 相关工作

低光图像增强方法：

基于Retinex的方法的关键是光照图和反射率图的估计。由于分解能力有限，传统方法往往会导致过度/不足的增强结果。基于学习的方法可以获得更好的分解结果，并可以适当地提高对比度。值得注意的是，大多数基于学习的方法只关注使用低照度图像的空间信息来获得高质量的普通光图像，结合空间和频域信息进行弱光图像增强可以获得更令人满意的增强结果。因此，我们的R2RNet同时使用图像的空间和频率信息进行增强。空间信息用于增强对比度，频率信息用于恢复更多图像细节

去噪方法：

增强弱光照图像除了增强对比度外，还需要抑制噪声。传统的图像去噪方法依赖于手工制作的特征，并使用离散余弦变换或小波变换来修改变换系数。NLM和BM3D使用自相似匹配在图像保真度和视觉质量方面取得了出色的效果。基于监督学习的图像去噪方法，如DnCNN-B、FFDNet和CBDNet，利用高斯混合模型进行去噪。Mei等人充分利用浅像素级特征和自相似性，实现像素特征和语义特征之间的平衡，以保留更多细节。Kim等人提出CBAM专注于学习噪声图像和清晰图像之间的差异。Chen等人使用GAN对从真实噪声图像中提取的噪声信息进行建模，并将生成器生成的噪声块与原始清晰图像相结合，合成新的噪声图像。ADGAN提出了一种特征金字塔注意力网络，以提高建模噪声时的网络特征提取能力。

这些方法可以获得令人印象深刻的去噪效果。然而，直接将这些方法用作低光图像增强方法的预处理或后处理会导致模糊或噪声放大。为了避免这种情况，我们的方法可以同时进行对比度增强和去噪。

低光图像数据集：

低光图像增强任务的另一个困难是，基于学习的模型通常需要大量数据，因为很难收集到足够的低光图像。由于缺乏真实世界的成对图像，大多数方法使用基于普通光图像的合成图像。Lore等人对每个通道应用伽马校正来合成低光图像。吕等使用了与LLNet相同的图像合成策略。吕等和Wang等人将线性变换和伽玛变换相结合以获得成对图像。Wang等人通过使用相机响应函数并对低光图像中的噪声分布进行建模来获得合成图像。

据我们所知，现有的现实世界低光图像数据集只有LOL数据集和SID数据集，两者都通过固定相机位置和改变ISO和曝光来捕获低光/正常光图像对。LOL数据集中包含500对低光/普通光图像对，SID数据集包含5094幅短曝光图像和424幅长曝光图像；多个短曝光图像对应于一个长曝光图像。然而，上述两个数据集中包含的图像数量无法支持DEEPCNN的训练，SID数据集主要适用于极弱光照的图像增强，这与我们关注的内容不同。为了满足我们网络的训练要求，我们使用尼康D7500相机和华为P40 Pro手机收集真实世界的配对图像，形成我们的LSRW数据集

3. LSRW数据集

低光图像增强任务的难点之一是缺乏在真实场景中拍摄的成对低/正常光图像。现有的现实世界配对图像数据集只有LOL数据集和SID数据集。SIDI主要适用于极低光图像增强，这与我们的研究不一致。为了满足程度卷积的训练要求并为后续搜索提供支持，我们提出了第一个大规模的现实世界配对图像数据集，称为LSRW数据集。LSRW数据集包含由尼康D7500相机和华为P40 Pro手机拍摄的5650张配对图像。我们使用尼康相机收集了3170张配对图像，使用华为手机收集了2480张配对图像.

通过减少ISO并使用较短的曝光时间来减少光输入量，可以获得低光图像。而普通光图像可以通过使用更大的ISO和更长的曝光时间来获得。我们选择收集室内和室外场景的LSRW数据集。在室内场景中获取低光图像时，曝光时间将增加，以避免捕获极端黑暗的图像。同样，在室外场景中获得普通光图像时，将减少曝光时间以避免捕获过度曝光的图像。低光条件的ISO值固定为50，正常光条件固定为100。通过改变曝光时间，我们可以获得成对的低/正常光图像。请注意，如果在减少曝光时间时有移动物体或相机/手机抖动。低光图像将变得模糊。因此为了避免相机/手机抖动，我们使用三脚架固定相机/手机的位置，并通过远程控制调整ISO和曝光时间。同时，我们选择的场景是静态的，没有任何运动物体。这可以确保捕获的低光图像不会模糊。低光条件的ISO值固定为50。正常光照条件固定为100。使用尼康获得低光图像时，曝光时间限制在1/200到1/80。而正常光图像的曝光时间被限制为1/80至1/20。使用华为获取低光图像时，曝光时间限制在1/400到1/100，而普通光图像的曝光时间限制为1/100到1/15。我们从LSRW数据集中选择了5600对图像进行训练，其余50对进行评估。表1总结了LSRW数据集。图2显示了LSRWs数据集中的几个图像对，包括室内和室外场景.

4. 方法

A网络框架：可以同时提高对比度、保留更多细节、抑制噪音。

我们提出了一种新的深度卷积神经网络，称为R2RNET，它由三个子网组成：DecomNet。aDenoise网和Relight网。基于Retinex理论，Decom网络将输入的弱光照图像分解为光照图和反射图。denoise网络将分解结果作为输入，并使用光照图作为约束来抑制反射图中的噪声。随后，将Decom网获得的照明图和Denoise网获得的反射率图发送到Relight网，以获得具有更好视觉质量的法线图像。因此。我们的方法可以提高对比度，保留更多细节，同时抑制噪声。R2RNET的网络架构如图3所示。详细说明如下.

Decom-Net：

基于Retinex的方法的关键是获得高质量的光照图和反射率图，分解结果的质量也会影响后续的增强和去噪过程。因此，设计一个高效的网络来分解弱光照图像是很重要的。残差网络已广泛应用于许多计算机视觉任务中，取得了良好的效果。残差网络得益于跳跃连接结构，在训练阶段可以使深度神经网络更容易优化，不会造成梯度消失或爆炸。受此启发，我们在 DecomNet 中使用多个残差模块 (RM) 以获得更好的分解结果。每个 RM 包含 5 个卷积层组成，内核大小为 {1, 3, 3, 3, 1}，内核数为 {64, 128, 256, 128, 64}。我们在快捷连接处添加了一个 64×1×1 的卷积层。每个 RM 之前和之后还有一个 64×3×3 的卷积层。

Decom-Net 每次都采用成对的低/正常光图像（Slow 和 Snormal），并在低光图像和正常光图像共享相同的反射图的指导下学习低光及其对应的正常光图像的分解。在训练期间，不需要提供反射图和光照图的ground truth。只有必要的知识，包括反射图的一致性和光照图的平滑度作为损失函数嵌入到网络中。请注意，正常光图像的光照图和反射图不参与后续训练，仅提供分解的参考。

Denoise-Net：

在得到分解结果后，大多数传统方法和以往基于Retinex理论的基于学习的方法都没有考虑噪声，这将导致最终增强结果受到反射率图中噪声的影响。最近，研究人员设计了有效的模型，可以在增强微光图像对比度的同时抑制噪声。受此启发，我们还设计了一个去噪网络来抑制反射率图中的噪声。与大多数基于学习的方法类似，我们的 Denoise-Net 仅使用图像的空间信息，因为通过抑制反射率图中的高频信号来消除噪声可能会导致内在细节的损失。

U-Net由于其出色的结构设计，在大量的计算机视觉任务中取得了优异的效果。在微光图像增强领域，大量的网络都采用U-net作为其主要架构或组成部分。受residual network的启发，Res-UNet用一个带有残差连接的模块来代替U-Net的每个子模块。然而U-Net和Res-UNet在特征提取阶段使用了多个最大池层，最大池层会导致特征信息的丢失，这是我们不希望的。我们将最大池化层替换为步长卷积层（stride convolutional layers），这将略微增加网络参数，但提高性能。U-Net和Res-UNet都属于浅宽架构（shallow-wide architecture），有人证明了深窄架构（deep-narrow architecture）更有效，因此我们将U-Net的每个子模块替换为RM来构建深窄Res-UNet，本文命名为DN-ResUnet。Denoise网络中使用的RM与Decom网络中的RM略有不同。卷积的数量保持在128而不增加。我们在网络的前两层使用扩张卷积（dilated convolution）来提取更多的特征信息。如图5所示，通过我们的去噪获得的照明图在抑制噪声的同时保留了原始图像的细节。

Relight-Net：

在得到分解结果后，需要改进光照图的对比度以获得较高的视觉质量结果，这是Relight-Net设计的目的。受空间和频率信息组合在其他图像恢复任务中恢复高质量清晰图像的有效性的启发，我们的Relight-Net由两个模块组成：对比度增强模块（CEM，Contrast Enhancement Module）和细节重建模块（DRM，Detail Reconstruction Module）。CEM利用空间信息进行对比度增强，其结构类似于Denoise-Net，我们还利用了多尺度融合，在扩展路径中连接每个反卷积层（deconvolutional layer）的输出，以减少特征信息的损失。DRM基于傅立叶变换提取频率信息去恢复更多的细节。傅立叶变换旨在获得信号在频域中的分布。数字图像也是一种信号，傅立叶变换可以将图像从空间域转换为频率域，而傅立叶逆变换可以将图像由频率域转换为空间域。因此，我们可以通过傅立叶变换获得图像的光谱信息。高频信号代表图像中强烈的变化内容，即细节或噪声，低频信号代表不频繁变化的平滑变化内容，如背景。我们可以通过增强图像中的高频信号来恢复更多的细节，从而从退化的图像中覆盖清晰的图像。

原始的傅里叶变换非常耗时，因此我们在本文中使用快速傅里叶变换。在傅里叶变换之后，我们将得到一个与原始图像大小相同的矩阵。矩阵中的点描述了图像的频域信息。每个点都是一个复数 A + jB，其模量 √A2 + B2 描述了幅度，其方向 arctan B/A 描述了相位角。如果我们想利用图像的频域信息来实现细节重建，我们需要处理得到的复杂矩阵。Chiheb等人提出了关键原子分量、复卷积、复批归一化和复值激活，形成复值深度神经网络，并在许多计算机视觉任务和音频相关任务上实现了最先进的性能。复卷积通过复值向量 h = x + jy 对复滤波器矩阵 W = A + jB 进行卷积，其中 A 和 B 是实值矩阵，x 和 y 是实值向量。在将向量 h 与滤波器 W 进行卷积后，我们可以得到 W *h = (A∗x−B∗y)+i(B∗x+A∗y)。复Relu (CRelu)在神经元的实部和虚部上使用单独的ReLUs，即CReLU (W) = ReLU (A)+iReLU (B)。因此，我们选择了复杂的卷积和 CRelu 来形成我们的 DRM，以便我们可以增加频域的幅度和相位信息。

我们的DRM由两个空间-频率-空间转换块(SFSC块)和一个频率信息处理块(FIP块)组成。SFSC块旨在聚合频域和空间域信息流。SFSC 块首先使用第一个 Resblock 处理空间域中的特征，并使用快速傅里叶变换将输出特征转换为频域。随后，利用复Resblock处理频域信息，最后利用傅里叶反变换将频域信息转化为空间域，使空间域和频域信息交换最大化。FIP块用于模拟高通滤波器来增强图像边缘轮廓，实现细节重建。FIP块的输入包含特征级和图像级频率信号，以减少空间域和频域信息之间的转换造成的信息丢失。特征级信号表示 SFSC 块的输出，图像级信号可以通过基于快速傅里叶变换将输入图像直接映射到频域来获得。CEM 和 DRM 的输出将组合为增强的光照图。请注意，DRM 和 CEM 的输出通道数为 64，因此我们添加了一个 3×3 卷积层和 1×1 卷积层进行降维。Relight-Net的架构如图4。

Relight-Net的输入是Decom-Net得到的光照图(Ilow)和Denoise-Net得到的反射率图(ˆRlow)，输出为增强光照图(ˆIlow)。最后，将去噪后的反射率图和增强后的光照图按元素相乘组合为最终结果，可以描述为:ˆSlow =ˆIlow◦ˆRlow。我们的方法得到的分解结果如图所示。DenoiseNet得到的反射率图在抑制噪声的同时保留了原始图像的细节，Relight-Net正确地改善了光照图的对比度，保留了更多的细节。

损失函数

每一个都有：内容损失（content loss）和感知损失（perceptual loss）组成

Decomposition loss:

内容损失、感知损失

使用L1作为内容损失：

我们根据从VGG-16预训练模型中提取的特征计算感知损失，与之前方法不同，我们采用激活曾之前而不是之后的特征。

Denoise loss:

内容损失、感知损失

Relight loss:

内容损失、感知损失、细节重建损失

5. 实验

补充细节

epoch:20，        LSRW dataset，        Adam optimizer,         = 0.9,       = 0.999，        batch size = 4,        patch size = 96,        

 lr = 0.001，使用学习率衰减策略，在10个eopchs后变为0.0001。

在真实数据集上与最流行的方法对比

我们在六个公开可用的数据集上，包括LOL、LIME、DICM、NPE、MEF和VV比较，将提出的方法与现有的最先进的方法（MF、Dong、NPE、SRIE、BIMEF、MSRCR、LIME、RetinexNet、DSLR、MVLLEN、EnlighrenGAN、Zero-DCE）进行了比较，我们使用这些方法的发布代码而不进行任何修改，并使用我们的LSRW数据集来训练基于监督学习的方法，包括retinexnet、MBLLEN、DSLR。由于ZERO-DCE和EnlightenGAN使用非配对数据进行训练，我们使用他们发布的预训练模型进行比较。LOL数据集通过改变相机曝光时间和ISO拍摄了500对真实的低光/正常光图像，这是目前唯一用于低光图像增强的真实低/正常光图像数据集（SID数据集用于极低光图像的增强）。

定量结果如表2所示。可以看出，在LOL数据集上，我们的方法在PSNR和SSIM方面都优于现有的最先进方法，所提出的R2RNet达到了最佳性能，平均PSNR得分为20.207db，SSIM评分为0.816，比PSNR次优方法（MBLLEN）高出1.347db（20.207-18.860），SSIM比第二最佳方法（MBLLEN）高出为0.062（0.816-0.754）。

视觉比较如图6所示。可以看出，一些传统方法（如SRIE、NPE）会导致增强效果不足。而基于Retinex理论的其他方法（如LIME、Retinexnet）会模糊细节或放大噪声。我们的方法产生的增强结果不仅可以提高局部和全局对比度，具有更清晰的细节，还可以抑制噪声，这说明该方法既能增强图像的对比度，又能抑制噪声。

LIME、DICM、NPE、MEF、VV通常被用作低光图像增强方法评估的基准数据集，这些数据集只包含低光图像，因此PSN和SSIM不能用于定量评估。因此，我们使用非参考图像质量评估NIQE来评估我们方法的性能。结果如表3所示。一些视觉比较如图7所示.请放大以比较更多详细信息

用户研究

我们进行了一项用户研究，以比较我们的方法和其他方法的性能。我们在真实场景中收集了20张额外的低光图像供用户研究，并邀请10名参与者评估使用五种不同方法（NPE、LIME、Enlightengan、MBLLEN和Our方法）获得的低光照片的增强结果。参与者应考虑对比度、伪影、噪声、细节以及增强结果的颜色，并根据增强图像的性能对其进行评级（从1到5，1表示最好，5表示最差）。图8显示了分数的分布，我们的方法得到了最佳结果，这表明我们的方法获得的增强图像在视觉上更令人满意

消融研究

1.CEM和DRM的有效性：结合空间和频率信息比单独使用可以获得更好的结果。

2.deep-shallow架构的有效性

3.损失函数的设置：结果验证我们损失函数设置的合理性。

在本节中，我们基于LOL数据集定量评估了模型中不同成分的有效性和损失函数设置。结果显示为表4。

1.CEM和DRM的有效性：我们通过分别删除CEM和DRM来评估Relight-Net中对比度增强模块（CEM）和细节重建模块（DRM）的有效性，以构建我们的Relight-Net。删除CEM或DRM将显著降低我们模型的性能。如表四所示，实验结果表明，将空间和频率信息结合比单独使用可以获得更好的性能。

2.验证深窄架构的有效性：我们评估DN-ResUnet的有效性并将其与相应的“浅宽”ResUnet进行比较.我们用Resunet替换了Denoisnet和Relightnet中的DN Resunet架构。我们提出的DN-ResUnet在PSNR上超过了ResUnet为0.971db（=20.207-19.236），在SSIM上超过0.011（=0.816-0.805）。结果表明，我们的默认架构将带来更好的性能.

3.损失函数的设计：为了探索损失函数设置的有效性，我们分别通过将内容损失转换为MSE损失、去除感知损失和去除频率损失来进行实验，使用LI损失在PSNR上超过MSE损失0.676db（=20.207-19.531），在SSIM超过MSE损失0.012（=0.816-0.804）。去除感知损失和频率损失将导致性能下降。在去除感知损失之后，PSNR下降了0.868db（=20.207-19.339）和SSIM降低了0.043（=0.816-0.773）。去除频率损失后，PSNR降低了0.451db（=20.207-19.756），SSIM下降了0.012（=0.816-0.804）。实验结果验证了我们损失函数设置的合理性

用于人脸检测的预处理

1.DARK FACE dataset包括6000张训练数据和100张测试数据。

2.采用两种最先进的人脸检测方法：RetinaFace、DSFD，将我们的模型作为预训练步骤。

3.提高了平均精度（AP，average precision）：

（DSFD+Low-light image）17.12%        ->        （DSFD+R2RNet）33.98%

（RetinaFace+Low-light image）15.28%        ->        （RetinaFace+R2RNet）15.97%

4.说明了我们的方法处理产生视觉上令人愉快的结果外，还可以提高高级视觉任务的性能。

图像增强作为改进后续高级视觉任务的预处理，最近受到了越来越多的关注。我们研究了光增强对DARK FACE数据集的影响，该数据集是专门为低光条件下的人脸检测任务而构建的。DARK FACE数据集由夜间拍摄的6100张真实世界的低光照图像组成，其中包括训练/验证集中的6000张图像。测试集中有100张图片。由于测试集中没有相应的标签，我们从训练集中随机选择100张图像进行评估，应用我们的R2RNet作为预处理步骤，然后是两种最先进的预训练面部检测方法：Retinaface和DSFD。使用R2RNET作为预处理将平均精度（AP）从17.12%（DSFD+低光图像）和15.28%（RetinexFace+低光成像）提高至33.98%（DSFD+R2RNET）和25.97%（Retinexface+R2RNET），这表明R2RNET除了产生视觉上令人愉悦的结果外，还可以提高高级视觉任务的性能。我们还使用Enlightengan和MBLLEN进行实验。Enlightengan将AP提高到32.75%和23.44%。MBLLEN将AP提高到31.69%和24.67%。人脸检测结果的示例如图9所示.

6. 结论

在这项研究中，我们提出了一种基于Retinex理论的新型Real低到Realnormal网络，用于低光图像增强，该网络包括三个子网络：Decom网络。Denoise网。以及Relight网络。通过我们的方法获得的增强结果具有更好的视觉质量。

与以前的方法不同,我们收集了第一个用于网络训练的大规模现实世界低/正常光图像配对数据集，称为LSRW数据集.在公开可用的数据集上表明，我们的方法可以适当地提高图像对比度和抑制噪声，并获得最高的PSNR和SSIM分数，大大优于最先进的方法。我们还表明，我们的R2RNET可以有效地提高低光条件下人脸检测方法的性能。

这项工作的主要贡献有三个方面：

1）我们提出了一种新的实低低到实正网络（R2RNET），将弱光照图像转换为正常光图像。所提出的网络由三个子网组成：Decom网、Denosie网和Relight网。Decom网络的目的是将输入图像分解为基于retinex理论的亮度图和反射率图。Denosie网络旨在抑制反射图中的噪声。Relight网络使用低光图像的空间信息来提高对比度，并使用频率信息进行细节重建。此外，使用新频率损失函数来帮助Relight net恢复更多图像细节

2）。与之前使用合成图像数据集的方法不同，我们收集了第一个大规模的现实世界低光/正常光图像配对数据集（LSRW数据集），其中包含5650对低光/普通光图像，以满足深度神经网络的训练要求，并使我们的模型在现实世界中具有更好的泛化性能

3）在公开数据集上的实验结果表明，我们的方法在很大程度上优于最先进的方法。我们的方法产生的增强结果在对比度、亮度、细节保留和噪声抑制方面都非常出色。我们还表明，我们的方法可以在光照不足的情况下有效地提高人脸检测的性能

未来，我们将探索一种更有效的模型，并将该模型应用于其他增强任务（如低光视频增强、极低光图像增强）

参考链接

笔记：

图像的空间信息和频率信息是什么？

epoch、batch size、patch size

优化器（Adam）

学习率衰减的四种策略