Learning a Simple Low-light Image Enhancer from Paired Low-light Instances

微光图像增强（LIE）旨在提高在微光条件下拍摄的图像的对比度和恢复细节。以前的大多数LIE算法使用具有几个手工制作的先验的单个输入图像来调整照明。然而，由于单个图像中的信息有限以及手工制作的先验的适应性差，这些解决方案往往无法揭示图像细节。为此，我们提出了PairLIE，这是一种无监督的方法，可以从微光图像对中学习自适应先验。首先，当两个输入共享相同的图像内容时，期望网络生成相同的干净图像。为了实现这一点，我们将Retinex理论应用于网络，并使两个反射率分量一致。其次，为了帮助Retinex分解，我们建议使用简单的自监督机制来去除原始图像中的不适当特征。在公共数据集上进行的大量实验表明，与最先进的方法相比，所提出的PairLIE具有更简单的网络和更少的手工先验，实现了相当的性能。

1. Introduction

在弱光环境下拍摄的图像总是会受到多种失真的影响，例如对比度低、可见性差和传感器噪声。这些低光图像对于信息传输来说是不令人满意的，因为它们在人类可视化和随后的计算机视觉任务中带来了挑战[25]。为了校正对比度、揭示纹理和去除传感器噪声，在过去的几十年里，人们在开发微光图像增强（LIE）算法方面付出了巨大的努力[1，5，6，8，28，35]。基于直方图和基于Retinex的方法是两种众所周知的LIE技术。前者通过在直方图上重新分布发光强度来增强图像的对比度[3，14]。后者通过I＝L将观察到的图像I分解为照度L和反射率R◦R、 其中◦表示按元素相乘[6，13，17]。具体地说，由于R表示物体的物理性质，因此反射率分量R被假设在不同的光照条件下是一致的。由于Retinex理论可以很好地模拟人类视觉的颜色感知，因此基于Retinex的方法在LIE社区中引起了相对更多的关注。近年来，在开发基于学习的LIE算法方面取得了巨大成功。在这些方法中，大多数解决方案都依赖于弱光和正常光图像对[33，38]。然而，在现实世界场景中收集高质量的参考地图既耗时又昂贵[32]。为了消除对正常光图像的要求，提出了无监督和零样本LIE方法。具体而言，前者使用一组收集的低光样本训练深度神经网络[7，18]，而后者仅在网络优化中使用测试图像本身[40，41]。由于缺乏参考图像，无监督和零样本LIE方法依赖于手工制作的先验来指导网络训练。然而，由于复杂的自然场景和单个微光图像中的有限信息，这些方法很难获得高质量的结果。为了解决单个低光图像中信息有限和手工制作的先验适应性差的问题，我们建议利用成对的低光实例来训练LIE网络。我们的解决方案与以前的方法之间的主要区别如图所示。1。注意，获取成对的低光图像将使成像过程复杂化，因为它需要处理两个图像之间的未对准。然而，与收集低光和正常光图像对相比，我们的解决方案更实用。此外，两次曝光图像为解决LIE任务提供了有用的信息。因此，我们的解决方案可以减少对手工先验的需求，并提高网络的适应性。对于成对的低光实例，我们提出了一种新的基于学习的LIE方法，称为PairLIE。我们方法的核心见解是充分利用成对低光图像的先验。因此，我们考虑采用Retinex理论和深度学习将低光图像分解为照明和反射分量。首先，由于两个低光输入共享相同的内容，因此预计估计的反射率分量是一致的。其次，我们采用了一种简单的自监督机制来去除不适当的特征，并在优化后的图像上实现Retinex分解，而不是直接将Retinex分割强加给原始的低光图像。这可以避免次优估计，因为Retinex模型在低光建模中具有局限性。因此，在较少的先验约束和更简单的网络的情况下，所提出的PairLIE在公共LIE数据集中实现了具有竞争力的性能。综上所述，本文的贡献如下：我们提出了一种使用成对微光图像的通用LIE解决方案。该网络基于Retinex分解，具有几种新颖的无参考损耗。•为了实现准确的分解，我们首先投影原始图像以去除不适当的特征。•通过更少的手动设计先验和更简单的网络，所提出的解决方案实现了与最先进的方法相当的性能。

2. Related Work

几十年来，已经提出了广泛的LIE方法，大致可以分为传统方法和基于学习的技术。

2.1. Conventional Methods

基于直方图的技术通过扩展图像的动态范围来执行光增强。例如，Park等人[23]将直方图的动态范围分为几个部分，并根据面积比调整灰度范围的大小。Arici等人[1]引入了惩罚项，以避免增强图像的不自然外观和视觉伪影。Lee等人[14]应用2D直方图的分层差异表示来放大相邻像素之间的灰度级差异。基于Retinex的方法首先将微光图像分解为反射率和照明分量。随后，这些方法要么将反射率视为增强的图像，要么调整照明，然后将其与反射率重新组合以生成增强的结果。王等人[29]提出了一种LIE算法来提高非均匀照明图像的自然度和增强细节。傅等人[6]使用了加权变分模型来保留更多细节的反射率。郭等人[8]首先通过计算R、G和B通道中的最大值来估计照度。然后，他们通过强加一个结构先验来细化照明图。李等人[17]通过在Retinex模型中引入噪声图来提高LIE的性能。徐等人[34]提出了一种通过交替优化算法求解的纹理软件Retinex模型。Hao等人[9]提出了一种以半解耦方式执行的新的基于Retinex的LIE方法。

2.2. Learning-based Methods

通常，基于学习的LIE方法依赖于成对的低光和正常光图像。Lore等人[19]设计了一种堆叠稀疏去噪自动编码器来增强微光图像。所提出的模型是在合成图像对上进行训练的。魏等人[32]首先建立了一个真实世界的微光图像增强数据集，包括微光和正常光图像对。然后，他们以完全监督的方式训练端到端网络。王等人[28]在网络中引入了一个中间照明图，将低光输入与预期的增强结果相关联。Chen等人[4]收集了短曝光低光图像的数据集，以及相应的长曝光参考图。基于该数据集，作者开发了一个用于增强弱光图像的全卷积网络。张等人[38]提出了一种有监督的方法，将微光图像分解为照度和反射率分量。吴等人[33]提出了一种基于Retinex的深度展开网络，以提高适应性，徐等人[35]将信噪比软件转换器和卷积网络相结合，以增强微光图像。张等人[39]提出了一种颜色一致性网络来减轻增强图像和地面实况之间的色差。最近，开发了无监督（也称为自监督）网络来消除对参考图像的要求。例如，Zhu等人[41]提出了一种零样本LIE方法，该方法使用输入图像本身训练深度网络。郭等人[7]提出了一种基于曲线估计的无参考LIE方法。他们的网络用一组非参考损耗函数进行了优化。刘等人[18]通过集成展开技术和现有架构搜索策略，提出了一种轻量级的LIE网络。姜等人[12]提出了一种基于生成对抗性网络和不成对训练数据的LIE方法。赵等人[40]设计了一个基于深度图像先验（DIP）的统一零参考网络，用于增强低光图像[27]。姜等人[11]提出了一种基于Retinex的无监督LIE分解和校正网络。马等人[22]建立了级联照明估计过程，以在复杂场景中实现快速、灵活和稳健的LIE。

3. Proposed Method

我们首先给出了使用微光图像对进行LIE的问题定义。然后，我们详细介绍了管道和损失函数。最后，我们介绍了用于训练所提出的网络的数据集。

3.1. Retinex Model with Paired Low-light Images

根据Retinex理论，微光图像I可以分解为照度L和反射率R，如下所示：

哪里◦表示按元素相乘。照明L描述对象的光强度。L应该是分段连续的和无纹理的。反射率R表示对象的物理特性。R应该包含观察到的图像中的纹理和细节。Retinex分解是高度病态的。已经提出了各种方法来处理这个问题[6，17，29，34]。Retinex分解的一般解决方案是最小化以下能量函数：

其中fL和fR分别是L和R的先验约束。λL和λR表示权重l◦R−I½2是输入图像和重建图像之间的数据保真度项。为了实现合理的分解，大多数LIE方法侧重于引入对两个分量强制的各种先验约束，如结构[17]、平滑[32]和明亮通道[15，26]的先验。然而，由于不同的自然场景和光照条件，手工制作的先验通常不够自适应。在本文中，我们不是从单个图像中利用手工制作的L和R的先验，而是应用成对的微光图像以数据驱动的方式自动学习自适应先验。那些微光图像对共享相同的场景内容但不同的照明。在数学上，具有微光图像对的Retinex分解可以表示为：

其中I1和I2是共享反射率分量R的微光图像对。直观地，由于引入了更多的信息和约束，因此方程3可以比方程1更好地解决分解问题。

3.2. Network Structure 

我们方法的整个流程如图2所示。我们使用L-Net和R-Net分别估计光照和反射分量。L-Net和R-Net非常相似且简单，都包含五个卷积层。前四个卷积层的激活函数是ReLU。L-Net和R-Net以sigmoid层结束，将输出规范化到[0, 1]范围内。根据Retinex理论，假设三个色道具有相同的光照。因此，L-Net的输出通道设置为1，而R-Net的输出通道设置为3。需要注意的是，本文并不专注于设计现代化的网络结构。相反，我们旨在为配对的低光照情况提供通用解决方案。在我们的实验中，我们发现这些简单的网络已经达到了可比较的性能。除了L-Net和R-Net之外，我们引入了P-Net来从原始图像中去除不合适的特征。具体来说，P-Net的结构与R-Net相同。

......