【从成对的微光实例学习一种简单的微光图像增强器】

Learning a Simple Low-light Image Enhancer from Paired Low-light Instances
2023年CVPR
代码：https: //github.com/zhenqifu/PairLIE

摘要

微光图像增强（LIE）旨在提高在微光条件下拍摄的图像的对比度和恢复细节。以前的大多数LIE算法使用具有几个手工制作的先验的单个输入图像来调整照明。然而，由于单个图像中的信息有限以及手工制作的先验的适应性差，这些解决方案往往无法揭示图像细节。
为此，我们提出了PairLIE，这是一种无监督的方法，可以从微光图像对中学习自适应先验。首先，当两个输入共享相同的图像内容时，期望网络生成相同的干净图像。为了实现这一点，我们将Retinex理论应用于网络，并使两个反射率分量一致。其次，为了帮助Retinex分解，我们建议使用简单的自监督机制来去除原始图像中的不适当特征。
在公共数据集上进行的大量实验表明，与最先进的方法相比，所提出的PairLIE具有更简单的网络和更少的手工先验，实现了相当的性能。

解决什么问题
1、单个图像中的信息有限，
2、手工制作的先验的适应性差，（作者在介绍自己的参考文献中重点介绍了）
这些解决方案往往无法揭示图像细节，

提出了什么方法
提出了PairLIE，这是一种无监督的方法，可以从微光图像对中学习自适应先验。
当两个输入共享相同的图像内容时，期望网络生成相同的干净图像。为了实现这一点，我们将Retinex理论应用于网络，并使两个反射率分量一致。
简单的自监督机制来去除原始图像中的不适当特征

效果怎么样
少的先验和简单的网络，实现相当的效果。

Introduction

在弱光环境下拍摄的图像总是会受到多种失真的影响，例如对比度低、可见性差和传感器噪声。这些低光图像对于信息传输来说是不令人满意的，因为它们在人类可视化和随后的计算机视觉任务中带来了挑战[25]。为了校正对比度、揭示纹理和去除传感器噪声，在过去的几十年里，人们在开发微光图像增强（LIE）算法方面付出了巨大的努力[1，5，6，8，28，35]。

基于直方图和基于Retinex的方法是两种众所周知的LIE技术。前者通过在直方图上重新分布发光强度来增强图像的对比度[3，14]。后者通过I＝L将观察到的图像I分解为照度L和反射率R◦R、 其中◦ 表示按元素相乘[6，13，17]。具体地说，由于R表示物体的物理性质，因此反射率分量R被假设在不同的光照条件下是一致的。由于Retinex理论可以很好地模拟人类视觉的颜色感知，因此基于Retinex的方法在LIE社区中引起了相对更多的关注。
近年来，在开发基于学习的LIE算法方面取得了巨大成功。在这些方法中，大多数解决方案都依赖于弱光和正常光图像成对[33，38]。然而，在现实世界场景中收集高质量的参考地图既耗时又昂贵[32]。为了消除对正常光图像的要求，提出了无监督和零样本LIE方法。具体而言，前者使用一组收集的低光样本训练深度神经网络[7，18]，而后者仅在网络优化中使用测试图像本身[40，41]。由于缺乏参考图像，无监督和零样本LIE方法依赖于手工制作的先验来指导网络训练。然而，由于复杂的自然场景和单个微光图像中的有限信息，这些方法很难获得高质量的结果。
为了解决单个微光图像中信息有限和手工先验适应性差的问题，我们建议利用成对的微光实例来训练LIE网络。我们的解决方案与以前的方法之间的主要区别如图所示。1。注意，获取成对的低光图像将使成像过程复杂化，因为它需要处理两个图像之间的未对准。然而，与收集低光和正常光图像对相比，我们的解决方案更实用。此外，两次曝光图像为解决LIE任务提供了有用的信息。因此，我们的解决方案可以减少对手工先验的需求，并提高网络的适应性。

图1。从Retinex理论的角度比较先前的解决方案（a）和所提出的方法（b）。我们的方法的关键思想是从微光图像对中学习自适应先验。因此，我们的解决方案需要更少的手工先验，并且网络更健壮。请注意，图像对仅在训练阶段使用。
对于成对的低光实例，我们提出了一种新的基于学习的LIE方法，称为PairLIE。我们方法的核心见解是充分利用成对低光图像的先验。因此，我们考虑采用Retinex理论和深度学习将低光图像分解为照明和反射分量。首先，由于两个低光输入共享相同的内容，因此预计估计的反射率分量是一致的。其次，我们采用了一种简单的自监督机制来去除不适当的特征，并在优化后的图像上实现Retinex分解，而不是直接将Retinex分割强加给原始的低光图像。这可以避免次优估计，因为Retinex模型在低光建模中具有局限性。因此，在较少的先验约束和更简单的网络的情况下，所提出的PairLIE在公共LIE数据集中实现了具有竞争力的性能。综上所述，本文的贡献如下：
我们提出了一种使用成对微光图像的通用LIE解决方案。该网络基于Retinex分解，具有几种新颖的无参考损耗。
•为了实现准确的分解，我们首先投影原始图像以去除不适当的特征。
•通过更少的手动设计先验和更简单的网络，所提出的解决方案实现了与最先进的方法相当的性能。
我的问题：

这两个图像与之前的有监督的成对数据集有什么区别，又是怎么产生这两个低光图像的，是拍摄出来的还是需要自己合成的？？
他这个没有合成，是使用SCIE的图像序列里面随机组合的一对。（作者最后也说了这个成对的问题，并提供了一些解决方案）

充分利用成对低光图像的先验？是怎么充分利用，这里的先验指的是什么（这个我觉得应该是利用反射一致性损失吧）因为从图2中就可以看的出来的。

因为当对比度提高时，隐藏在暗区域中的传感器噪声将被放大。为了应对噪声问题，现有的方法要么在估计的反射率上添加平滑项，要么在增强后执行去噪操作。在我们的方法中，传感器噪声可以通过等式7隐式去除。这是因为两个低光图像包含相同场景的独立噪声。如[16]所述，可以利用成对的噪声图像来训练去噪模型。这是因为噪声在两个图像中是随机且不同的，深度网络无法将一个图像中的噪声与另一个图像相匹配。在我们的例子中，这两个低光图像可以在Retinex分解过程中相互帮助去除噪声。因此，PairLIE不需要额外的手工噪声约束。

使用手工制作的先验，LC更准确、更自适应，因为它揭示了对象的物理特性。

两个低光输入共享相同的内容，因此预计估计的反射率分量是一致的？？？是不是利用这个可以搞一个反射率损失。

自监督机制来去除不适当的特征

注意，获取成对的低光图像将使成像过程复杂化，因为它需要处理两个图像之间的未对准。

2.相关工作

几十年来，已经提出了广泛的LIE方法，大致可以分为传统方法和基于学习的技术。
2.1. 常规方法
基于直方图的技术通过扩展图像的动态范围来执行光增强。例如，Park等人[23]将直方图的动态范围分为几个部分，并根据面积比调整灰度范围的大小。Arici等人[1]引入了惩罚项，以避免增强图像的不自然外观和视觉伪影。Lee等人[14]应用2D直方图的分层差异表示来放大相邻像素之间的灰度级差异。

基于Retinex的方法首先将微光图像分解为反射率和照明分量。随后，这些方法要么将反射率视为增强的图像，要么调整照明，然后将其与反射率重新组合以生成增强的结果。王等人[29]提出了一种LIE算法来提高非均匀照明图像的自然度和增强细节。傅等人[6]使用了加权变分模型来保留更多细节的反射率。郭等人[8]首先通过计算R、G和B通道中的最大值来估计照度。然后，他们通过强加一个结构先验来细化照明图。李等人[17]通过在Retinex模型中引入噪声图来提高LIE的性能。徐等人[34]提出了一种通过交替优化算法求解的纹理软件Retinex模型。Hao等人[9]提出了一种以半解耦方式执行的新的基于Retinex的LIE方法。
2.2. 基于学习的方法
通常，基于学习的LIE方法依赖于成对的低光和正常光图像。Lore等人[19]设计了一种堆叠稀疏去噪自动编码器来增强微光图像。所提出的模型是在合成图像对上进行训练的。魏等人[32]首先建立了一个真实世界的微光图像增强数据集，包括微光和正常光图像对。然后，他们以完全监督的方式训练端到端网络。王等人[28]在网络中引入了一个中间照明图，将低光输入与预期的增强结果相关联。Chen等人[4]收集了短曝光低光图像的数据集，以及相应的长曝光参考图。基于该数据集，作者开发了一个用于增强弱光图像的全卷积网络。张等人[38]提出了一种有监督的方法，将微光图像分解为照度和反射率分量。吴等人[33]提出了一种基于Retinex的深度展开网络，以提高适应性和效率徐等人[35]将信噪比软件转换器和卷积网络相结合，以增强微光图像。张等人[39]提出了一种颜色一致性网络来减轻增强图像和地面实况之间的色差。最近，开发了无监督（也称为自监督）网络来消除对参考图像的要求。例如，Zhu等人[41]提出了一种零样本LIE方法，该方法使用输入图像本身训练深度网络。郭等人[7]提出了一种基于曲线估计的无参考LIE方法。他们的网络用一组非参考损耗函数进行了优化。刘等人[18]通过集成展开技术和现有架构搜索策略，提出了一种轻量级的LIE网络。姜等人[12]提出了一种基于生成对抗性网络和不成对训练数据的LIE方法。赵等人[40]设计了一个基于深度图像先验（DIP）的统一零参考网络，用于增强低光图像[27]。姜等人[11]提出了一种基于Retinex的无监督LIE分解和校正网络。马等人[22]建立了级联照明估计过程，以在复杂场景中实现快速、灵活和稳健的LIE。

3.建议方法
我们首先给出了使用微光图像对进行LIE的问题定义。然后，我们详细介绍了管道和损失函数。最后，我们介绍了用于训练所提出的网络的数据集。
3.1. 具有成对微光图像的Retinex模型
根据Retinex理论，微光图像I可以分解为照度L和反射率R，如下所示：

哪里◦ 表示按元素相乘。照明L描述对象的光强度。L应该是分段连续的和无纹理的。反射率R表示对象的物理特性。R应该包含观察到的图像中的纹理和细节。Retinex分解是高度病态的。已经提出了各种方法来处理这个问题[6，17，29，34]。Retinex分解的一般解决方案是最小化以下能量函数：
其中fL和fR分别是L和R的先验约束。λL和λR表示权重L◦ R−I½2是输入图像和重建图像之间的数据保真度项。为了实现合理的分解，大多数LIE方法侧重于引入对两个分量强制的各种先验约束，如结构[17]、平滑[32]和明亮通道[15，26]的先验。
然而，由于不同的自然场景和光照条件，手工制作的先验通常不够自适应。在本文中，我们不是从单个图像中利用手工制作的L和R的先验，而是应用成对的微光图像以数据驱动的方式**自动学习自适应先验。**那些微光图像对共享相同的场景内容但不同的照明。在数学上，具有微光图像对的Retinex分解可以表示为：

其中I1和I2是共享反射率分量R的微光图像对。直观地，由于引入了更多的信息和约束，因此方程3可以比方程1更好地解决分解问题。
3.2. 网络结构
我们的方法的整个流程如图2所示。我们分别使用L-Net和R-Net来估计光照和反射率分量。L-Net和R-Net非常相似且简单，都包含五个卷积层。前四个卷积层的激活函数是ReLU。L-Net和R-Net以S形层结束，以将输出归一化为[0,1]。根据Retinex理论，假设三个颜色通道具有相同的照明。因此，L-Net的输出信道被设置为1，而R-Net的输出通道被设置为3。值得注意的是，本文并不关注现代网络结构的设计。相反，我们的目标是在成对的弱光实例下为LIE提供一个通用的解决方案。在我们的实验中，我们发现那些简单的网络已经达到了相当的性能。除了L-Net和R-Net之外，我们还引入了P-Net来去除原始图像中的不适当特征。具体而言，P-Net的结构与R-Net的结构相同。

图2:PairLIE的体系结构。在训练阶段，首先采用P-Net来去除原始图像的不适当特征。然后使用L-Net和R-Net来估计照明和反射率分量。三个损失函数用于指导网络优化，包括自监督投影损失LP、反射率一致性损失LC和Retinex损失LR。在测试阶段，给定弱光图像，使用P-Net、L-Net和R-Net将输入分解为反射率和照度。随后，PairLIE调整照明，并将其与反射率重新组合，以捕捉增强图像。
在训练阶段，首先将原始低光图像对I1和I2带入P-Net，产生两个优化版本I1和I2。然后，应用L-Net和R-Net来估计潜在照度（L1和L2）和反射率（R1和R2）。为了优化网络，在PairLIE中设计了三个损失函数。第一个是测量I和I之间的差的投影损耗LP。第二个是基于R1和R2计算的反射率一致性损耗LC。第三个是限制分解成分满足Retinex理论的Retinex损失LR。在测试期间，给定弱光图像，应用P-Net、R-Net和L-Net来计算最终增强图像：

其中λ是照明校正因子，Ien表示增强图像。
3.3. 投影损失
我们建议首先去除不适当的特征，以确保输入准确无误，而不是对原始微光图像进行深度Retinex分解通过理想的Retinex模型分解（即等式1）。具体而言，我们设计了以下损失来指导投影：

其中i1是指投影图像。损失函数Lp将原始图像转换为更适合Retinex分解的特定图像。具体地说，由于我们没有考虑Retinex模型中的噪声分量，因此该图像预计是无噪声的。此外，一些无用的功能也在这个阶段被丢弃。我们的预测损失可以从误差再分配的角度来解释，误差再分配可以表示为：

其中ε表示误差。根据等式6，Lp的目标是将误差从Retinex分解转移到投影阶段。图3给出了计算的投影图像和相应的差分图的示例。可以看出，投影图像与原始图像高度相似，并且传感器噪声被去除，因为它不能由Retinex模型公式化。注意，投影损失需要与其他约束配合，以避免琐碎的解决方案，即i1=i1。

图3。投影图像和相应差异图的示例。较小的值表示投影图像和原始图像之间的相似性较高。
3.4. 反射率一致性损失
基于微光图像对和Retinex理论计算反射率一致性损失LC。相比使用手工制作的先验，LC更准确、更自适应，因为它揭示了对象的物理特性。从数学上讲，LC公式为：

其中R1和R2是指成对的低光图像的反射率分量。LC强制网络预测相同的反射率分量，因为微光图像对共享相同的对象。
因为当对比度提高时，隐藏在暗区域中的传感器噪声将被放大。为了应对噪声问题，现有的方法要么在估计的反射率上添加平滑项，要么在增强后执行去噪操作。在我们的方法中，传感器噪声可以通过等式7隐式去除。这是因为两个低光图像包含相同场景的独立噪声。如[16]所述，可以利用成对的噪声图像来训练去噪模型。这是因为噪声在两个图像中是随机且不同的，深度网络无法将一个图像中的噪声与另一个图像相匹配。在我们的例子中，这两个低光图像可以在Retinex分解过程中相互帮助去除噪声。因此，PairLIE不需要额外的手工噪声约束。
3.5. Retinex损失
由于PairLIE采用Retinex理论将低光图像分解为照明和反射分量，因此引入了Retinex分解的一些基本约束，可以公式化为：

其中，i表示投影图像，L0表示照明的初始估计，Ş表示水平和垂直梯度。首先，分解后的分量应满足重建输入图像的要求。因此，一个重构项‖R◦ 应用L−i‖2 2来确保合理的分解。一旦估计了照度，就可以通过微光图像与其照度图之间的逐像素划分来计算反射率。因此，我们额外添加了一个术语“R−i/stopgrad（L）”“2”来指导分解。请注意，我们停止照明的梯度以使训练稳定。与大多数使用大量手工先验的现有方法不同，PairLIE只对L施加了平滑项和初始化项。具体而言，初始化照明L0是通过R、G和B通道的最大值来计算的：

3.6. 整体损失
训练我们的PairLIE的整体损失函数是每次损失的线性组合：

其中w0、w1和w2表示权重。
3.7. 培训数据收集
我们从SICE（第2部分）[2]和LOL（训练集）[32]中收集包含多曝光图像的微光图像对。这些数据集采用了一些特定的算子来处理由相机抖动或物体移动引起的错位。请注意，SICE数据集由曝光不足和曝光过度的图像组成。我们只选择曝光不足和对齐良好的案例来构建训练集。结果，我们收集了324个序列（总共1000个微光图像）。如图4所示，每个序列包括2到6个样本。在训练阶段，我们从每个序列中随机选择两个图像来组成一对。

图4。有关所收集数据的序列长度的统计信息。大多数序列具有2到4个微光图像。
4.实验
我们首先描述了实现细节、评估数据集和性能标准。然后，我们与最先进的方法进行了定量和定性比较。最后，我们进行烧蚀实验来验证每个组件。
4.1. 实施详细信息
我们使用PyTorch实现了PairLIE。在训练阶段，我们将图像随机裁剪为128×128的大小。应用的批量大小为1。我们使用初始学习率为1×10−4的ADAM来优化网络。训练时期的数量设置为400。每100个时期，学习率下降一半。默认校正系数λ为0.2。在极暗的情况下，如LOL数据集，我们设置λ=0.14。对于方程10中的超参数w0、w1和w2，我们根据经验设置w0=500，w1=w2=1。
4.2. 数据集和条件
如前所述，将从SICE和LOL收集的微光图像对应用于训练PairLIE。我们从SICE中选择另外50个序列（150个图像），并使用LOL的官方评估集（15个图像）来测量模型性能。由于SICE和LOL包含参考图像，我们使用PSNR、SSIM[31]、LPIPS[37]和具有CIE2000标准[24]的DeltaE来客观评估每种方法的性能。PSNR/SSIM得分越高表示结果越接近参考。LPIPS/DeltaE值越低，表示增强性能越好。此外，我们采用MEF数据集[21]进行视觉比较。
4.3. 比较方法
将PairLIE与13种最先进的LIE方法进行比较，这些方法可分为以下三类：传统方法（SDD[9]、STAR[34]）、监督方法（MBLLEN[20]、RetinexNet[32]、GALDNet[30]、KinD[38]、DRBN[36]、URetinexNet[33]）和无监督方法（Zero DCE[7]、RRDNet[41]、RUAS[18]、SCI[22]和EnlightenGAN[12]）。请注意，所有这些方法的结果都是通过使用具有推荐参数的官方代码来复制的。
4.4. 定量比较
表1列出了LOL和SICE数据集的定量性能。可以观察到，传统的和无监督的方法获得的结果相对较差。这是合理的，因为在没有参考图像的情况下很难学习准确的增强模型。此外，这些解决方案的性能在很大程度上取决于所使用的先验。然而，手工制作的功能可能不足以适应各种光线条件。在表1中，PairLIE在五种无监督方法中取得了最好的性能，并与有监督方法相比获得了有竞争力的结果。由于成对的低光图像为解决LIE任务提供了足够的信息，因此PairLIE可以减少对手工制作的先验的需求。因此，PairLIE实现了显著的性能改进。
4.5. 视觉比较
图5展示了不同LIE方法的视觉比较。我们的观察结果如下：1）所提出的方法在亮度、颜色、对比度和自然度方面取得了视觉上令人愉悦的结果。而在这种情况下，其他方法无法应对极端的黑光。2） 根据表1，尽管监督方法GLADNet、KinD和URetinexNet在LOL和SICE数据集上表现出良好的性能，但由于监督学习对数据分布敏感，它们的泛化能力可能受到限制。我们在图6中进一步展示了噪声抑制的示例。可以看出，**尽管PairLIE没有引入任何关于噪声的手工先验，但我们的方法可以成功地抑制暗区中的传感器噪声，结果清晰自然。**相比之下，竞争对手要么放大噪音，要么无法校正颜色和对比度，导致视觉质量较差。

4.6. 分解可视化
我们将反射率和照明分量可视化，以验证我们的方法的有效性。如图6所示，7，反射率包含丰富的纹理和细节，而照明是逐片连续和无纹理的，这表明PairLIE可以准确地分解微光图像。我们进一步展示了不同校正因子的增强结果。随着λ的增加，图像亮度逐渐降低。当λ大于0.4或小于0.2时，增强图像表现出明显的欠增强/过增强效果。在这项工作中，默认的λ设置为0.2。请注意，用户可以根据个人喜好在测试阶段调整λ。

4.7. 消融研究
我们在不同的设置下进行消融研究，以了解每个组件如何影响性能。我们在最初的PairLIE基础上尝试了以下三种变体。1） 设置A:无LC。2）设置B:无LP。3） 设置C：不带先验项，即从LR中移除½L−L0‖2 2和½ΒL‖1。
表2和图8报告了我们对LOL数据集的消融研究结果。我们可以观察到，我们的方法显著优于设置A，这证明了使用微光图像对学习自适应先验的有效性。与设置B相比，PairLIE的性能略有提高。设置B的结果表明P-Net可以帮助Retinex分解，但不是稳定训练网络所必需的。为了进一步了解P-Net的作用，我们在图中显示了重建误差κ。9。蓝线表示使用原始低光图像的分解，即κ=|L◦ R−I|，而橙色线指的是使用投影图像的分解，即κ=|L◦ R−i|。可以看出，所提出的方法获得了比基线更小的重建误差。因此，P-Net可以去除不适当的特征，并且输出更适合于Retinex分解。设置C的结果表明，当去除先验项时，性能显著下降。这是因为Rrtinex分解需要一些基本的先验来初始化和抑制照明。

4.8. 讨论
获取微光图像对。
尽管PairLIE以更少的手工先验和更简单的网络实现了有希望的性能，但与记录信号微光图像相比，收集微光图像对相对昂贵。这个问题可以通过以下方式部分解决从单个低光图像生成训练对。例如，可以使用邻居掩模[10]从退化的观测中生成两个类似的微光图像。此外，还可以利用特定的恢复技术来捕获成对的训练实例。
照明组件。
PairLIE使用成对的微光图像来解决Retinex分解问题。基本思想是生成相同的反射率分量，因为反射率与光无关。然而，本文没有充分利用照明分量之间的关系。照明在Retinex模型中起着至关重要的作用。因此，我们相信，通过在两个照明图之间引入新的约束，可以进一步改进PairLIE。
5.结论
本文提出了PairLIE，这是一种无参考的微光图像增强方法，得益于基于Retinex和基于学习的解决方案。通过从弱光图像对中学习自适应约束，PairLIE减少了对手工制作的先验的依赖，从而在各种场景中都能很好地推广。为了帮助分解，PairLIE首先去除原始图像中的不适当特征，然后对优化后的图像进行分解。在公共基准上进行的大量实验表明，PairLIE显著优于最先进的无监督方法。在未来的工作中，我们将专注于以数据驱动的方式开发有效的照明先验。

代码复现：
S

R

出现了模糊，效果一般。