无监督夜间图像增强： 当层分解遇到灯光效果抑制时

Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression
2022年ECCV
代码：https://github.com/jinyeying/ night-enhancement

摘要

夜间图像不仅受到低光的影响，而且还受到光的不均匀分布的影响。现有的大多数夜间能见度增强方法主要集中在增强弱光区域。这不可避免地导致明亮区域的过度增强和饱和，例如受光效应（眩光、泛光灯等）影响的区域。
为了解决这个问题，我们需要抑制亮区域的光效应，同时提高暗区域的强度。考虑到这一想法，我们引入了一种无监督的方法，该方法集成了层分解网络和光效抑制网络。给定一张夜间图像作为输入，我们的分解网络学习在无监督层特定先前损失的指导下分解阴影、反射和光效层。我们的光效抑制网络进一步抑制了光效，同时增强了黑暗区域的照明。该光效应抑制网络利用估计的光效应层作为引导来关注光效应区域。为了恢复背景细节并减少幻觉/伪影，我们提出了结构和高频一致性损失。
我们对真实图像的定量和定性评估表明，我们的方法在抑制夜光效应和提高暗区强度方面优于最先进的方法。
需要解决的问题
现有的大多数夜间能见度增强方法主要集中在增强弱光区域。这不可避免地导致明亮区域的过度增强和饱和，例如受光效应（眩光、泛光灯等）影响的区域。
解决方案
层分解网络和光效抑制网络
层分解网络：分解阴影、反射和光效层
光效抑制网络：抑制了光效，同时增强了黑暗区域的照明
提出一个结构和高频一致性损失：恢复背景细节并减少幻觉/伪影

这篇的总结和理解：
这篇文章的思路是，将输入图像送进层分解网络中，分别在光照和光效应的初始函数，梯度排除损失，颜色损失，重建损失的作用下，输出对应的R,I,G，再将Jinit = R* L，然后在将G与Jinit 和G0和Jef无光效应进行cat送进光效抑制网络中（通过四个损失约束）最后得到了Jre矫正图像。

引言

夜间图像可能包含不均匀的光分布，如图所示。1，由于存在的光效果光效应5。大多数现有的夜间能见度增强方法主要集中在增强弱光区域的强度，例如[14，7，33，13，15]。因此，当这些方法应用于包含光效应的夜间图像时，它们不可避免地会放大光效应，并进一步损害图像的可见性。与这些方法不同，我们在本文中的目标是抑制光效应，同时提高暗区域的强度。
完全监督的学习方法可能是实现我们目标的一个可能的解决方案。然而，这些方法将需要在有光效应和无光效应的情况下拍摄的大量成对夜间图像，这是难以获得的。另一种可能的解决方案是使用具有渲染光效果的合成夜间图像。然而，在合成夜间数据上训练的方法的有效性取决于光效渲染模型的质量。据我们所知，在各种背景场景和照明条件下渲染物理正确的夜光效果仍然具有挑战性[36]。在本文中，我们介绍了一种无监督学习方法，该方法将分解网络和光效应抑制网络集成在一个统一的框架中。我们的分解网络源自图像层模型，并在特定层的先验损失的指导下，将输入图像分解为阴影层、反射层和光效应层（图3显示了这三个层的示例）。随后，我们的光效应抑制网络在有和没有光效应的未配对图像上进行训练，提供了额外的无监督约束。该网络不仅增强了光效应分解，而且增强了暗区域的强度。分解网络和光效应抑制网络这两个网络是相连的。
为了恢复光效应区域后面的背景细节，我们引入了结构和高频（HF）特征的一致性损失。我们采用基于VGG网络的结构一致性，并利用引导滤波器来获得HF特征。结构和HF特征的一致性损失也可以减少幻觉。总之，我们的主要贡献如下：
为了提高同时受到弱光和光效应影响的夜间图像的可见性，我们引入了一种网络架构，该架构将层分解和光效应抑制集成在一个统一的框架中。-为了将光效应与背景区域区分开来，特别是当光效应的颜色是白色或消色差时，我们建议利用估计的光效应层作为我们的无监督光效应抑制网络的指导。-为了恢复背景细节，我们基于结构和HF特征的一致性引入了新的无监督损失。我们的感知结构信息和HF纹理信息较少受到光效应的影响。因此，它们可以用来保存背景细节，重要的是，可以用来抑制不需要的伪影。
我们的实验和评估表明，我们的方法在抑制光效应区域和增强暗区域方面是有效的，在数量和质量上都优于最先进的方法。

2 相关工作

Sharma和Tan[32]介绍了一种基于相机响应函数（CRF）估计和HDR成像的方法来抑制光效应。该方法是第一种可以抑制光效应并提高夜间图像动态范围的方法。然而，如图1所示，它存在伪影和细节缺失。1，尤其是对于白色（或消色差）光。
在夜间图像去雾领域，已经提出了一些方法来抑制由雾/雾颗粒引起的辉光。李等人[23]解决了在雾蒙蒙的夜晚使用层分离去除辉光的问题。张等人[44]使用最大反射率先验来去除雾度和辉光。Ancuti等人[2,3]使用融合过程和拉普拉斯算子进行去雾和去雾。Yan等人[38，39]提出了一种采用灰度引导网络的半监督方法[37]。然而，所有这些方法都是为雾天或雾天夜晚的辉光抑制而设计的，而不是为消除清晰夜晚图像中的光效应而设计的。此外，与我们的方法不同，它们也不是为增强暗区域而设计的。

已经开发了许多方法来提高微光图像的亮度，而不考虑夜光效应的存在。一些方法基于直方图均衡[28]、反演和去雾[8]、retinex模型（例如[9，21]），而最近的方法基于深度网络[20]。大多数基于深度学习的方法（例如[1，7，33]）采用监督学习来训练其模型，因此需要大量的低/常光图像对。一些无监督的方法（例如[15]）依赖于使用不成对的低/正常光图像的对抗性训练。半监督方法（例如[40，41]）在未配对的高质量图像的帮助下，将粗糙到精细的表示重新组合为感知上令人愉悦的图像。最近，已经提出了用于低光增强的零样本学习方法（例如[19,13]）。然而，大多数夜间图像增强方法并不是为了抑制夜间光效应并同时增强低光区域；这就是我们工作的主要区别。

图2。我们提出的方法的总体架构。我们将分解和光效应抑制网络集成在一个统一的无监督框架中。给定输入的夜间图像，我们通过层分解网络抑制光效应，在层分解网络中获得光效应、阴影和反射层（见图3）。光效应抑制由分解的光效应层G引导，并基于不成对学习（见图4），以进一步抑制光效应并增强暗区域。

3建议方法

为了抑制光效应，同时提高暗区域的强度，我们通过集成分解网络和光效应抑制网络，提出了一个无监督的框架。我们的分解网络基于图像层模型，产生三个独立的层：阴影层、反射层和光效应层。我们将这些层输入到我们的光效应抑制网络中，以获得我们的最终输出，其中光效应被抑制，暗区域被增强。该网络从未配对的数据中学习，并由我们估计的光效应层引导。
3.1基于模型的分层分解网络
我们的分解基于以下图像层模型：

其中I表示输入夜间图像，G表示光效层，R和L分别是反射层和阴影层。该符号表示元素乘法。在这个方程中，我们假设一个线性伽玛函数。然而，在我们的方法中，我们没有明确使用这个方程。相反，我们仅使用它来指导图2中网络的设计。2（即，层分解网络）。
> ？？啥意思
当具有非线性伽玛函数的非线性图像在训练中使用的背景场景是物理正确值的近似值。我们的分解目标是获得没有光效应的背景场景，即，我们希望估计背景场景，Jinit=R*L。因此，即使在训练中使用非线性图像，那些不太关心物理校正强度值但受到光效应影响的应用程序也可以从我们的方法中受益。我们的模型不同于广泛使用的本征模型[11,4]，因为后者没有包含光效应层。
图2显示了我们的流程。分解网络基于方程中的图像层模型。（1）。给定输入图像（I），我们首先执行图像分解。我们使用三个独立的网络和我们新颖的无监督损失来获得光效应（G）、阴影（L）和反射（R）层。
学习光效、照明层和反射层 为了获得光效（G）、照明（L）和反射（R）层，我们分别使用三个网络：光效网（φG）、明暗处理网（φL）和反射率网（φR），其中G=φG（I）、L=φL（I）和R=φR（I）。这三个网络是使用无监督损失进行训练的，这将在后面的段落中讨论。图3显示了这三层的示例。

灯光效果和着色初始化要解决分解模糊性问题，提供层的正确初始估计非常重要。对于着色层，我们使用通过对每个像素取三个颜色通道的最大值而获得的着色图Li[14]。对于光效果层，我们使用使用相对平滑技术[22]计算的光效果图Gi。这是使用二阶拉普拉斯滤波器从输入图像中提取的，因为光效应是平滑变化的。我们将初始化步骤的损失函数定义为：

梯度排除损失：光效应层的梯度具有短尾分布，类似于“glow”[23]。相反的背景图像的梯度具有长尾分布，（这个是什么意思）因此，我们使用梯度排除损失来恢复不相关的层{G，Jinit}，其中目标是在梯度空间中尽可能地分离这两个层。损失的定义如下[10，46]：（2019CVPR Unsupervised image decomposition via coupled deep-image-priors.）（2018CVPRSingle Image Reflection Separation with Perceptual Losses）这个损失的作用和原理。

其中，F是Frobenius范数，G↓n和J↓n init表示使用双线性插值下采样的G和Jinit，并且参数λG↓n和λJ↓n init是归一化因子。
颜色恒定性损失
受灰色世界假设[5，13，32]的启发，为了最大限度地减少分解输出中的任何颜色偏移，我们使用了颜色恒定性先验，这有助于平衡背景图像Jinit中三个颜色通道的强度值范围：

其中（c1，c2）∈{（r，g），（r，b），（g，b）}表示两个颜色通道的组合。
重建损失对于我们的分解任务，重新组合估计的层应该会给我们返回原始输入图像。因此，我们将重建损失定义为：

我们将每个无监督损失与其各自的权重相乘，其中我们将λinit、λexcl都设置为1，因为它们在相同的范围内。我们根据经验设置λreco=0.1，并使用[13]中的权重λcc=0.5来平衡分解过程。

以上是层分解网络的部分，

3.2光效应抑制网络
为了更好地抑制光效应，我们将分解网络与不成对的光效应抑制网络集成。我们设计该网络，通过使用我们估计的光效应层的引导来抑制光效应。强制网络专注于光效应区域。如图6所示，2，我们的网络包括生成器φgen和分类器Γgen。它细化最初估计的背景场景（Jinit），并生成最终的无灯光效果输出（Jrefine）。详情如下。

利用了一个gan网路，生成对抗网络，

灯光效果层引导：我们使用估计的光效应层G来指导我们的训练过程，如图所示。4。光效应层被作为我们的编码器-解码器网络的输入的一部分，并用不同尺度的网络的特征图进行调制。具体来说，我们将Jinit与光效应层G连接起来，然后将它们输入到我们的网络φgen中。

图4。我们的无监督光效应抑制网络概述。该网络包括生成器φgen和分类器Γgen。我们的生成器的编码器块从输入图像层中提取特征图。我们的分类器Γgen被训练来学习特征图的权重[49]。Γgen基于两个域进行域分类，即光效应域fe=（G，Jinit）和不成对的光效应自由域fef=（G0，Jef）。对加权特征图进行平均生成注意力图，该注意力图显示网络正在关注光效区域。因此，光效应在我们的输出Jrefine中被显著抑制。
通过调整光效层G的大小以适应每个特征图的大小，并将其与所有中间特征图相乘，我们的光效层可以引导我们的网络更多地关注光效区域。图3b和图12显示了我们的光效应层的一些结果，表明我们的方法可以成功地分离白色和多色光效应。（看效果确实是分离了光效应）

灯光效果抑制
除了光效应层，我们的抑制网络还受到注意力机制的引导[15，18，16]。其基本思想是，我们将光效应和无光效应的未配对图像输入到编码器网络中。然后，我们使用域分类器来判断编码的特征是否来自某个域，即判断输入是光效应还是无光效应。使用这种域分类，激活的特征区域可以形成注意力图[49]，这在引导我们的网络抑制光效应时很有用。
更具体地说，如图4所示，我们的网络φgen包含一个辅助分类器Γgen。网络的输入之一是Jinit和G的级联。另一个输入是与伪全零映射G0级联的无光效应参考图像Jef，该伪全零图当然没有光效应。然后，我们的分类器Γgen基于来自fe=（G，Jinit）或fef=（G0，Jef）的编码特征执行域分类。为了训练辅助分类器Γgen，我们使用以下注意力损失：

结构和HF特性一致性损失
为了解决幻觉/伪影[31]，也为了保留背景细节，我们采用了两个约束：基于从VGG网络获得的特征的结构一致性[17]；以及基于从引导滤波器获得的HF特征的HF特征一致性[35]。
如图5所示，为了获得对光效应更具鲁棒性的结构信息和HF特征，我们通过应用：Igray（x）=∑c13（wc（x）Ic（x））自适应地融合输入夜间图像的RGB颜色通道，其中c∈（r，g，b）是颜色通道，x是像素位置，输入图像I={Ir，Ig，Ib}。夜间图像Ic（x）的每个颜色通道的权重图是通过wc（x）=exp（−（Ic（x）−0.5）2 2σ2）来计算的。请注意，Ic（x）的范围为[0,1]，因此0.5是强度范围的中值。如果颜色通道中的像素较低（曝光不足）或较高（例如，光效像素），则我们的权重值较低。我们定义σ=0.2，它测量像素曝光的程度。这使得得到的灰度图像Igray较少受到光效应的影响，如图5和图6所示。
图5。我们的结构和HF特征一致性损失概述。我们首先使用我们的自适应融合方案来获得融合的灰度图像Igray。然后，从Igray中，我们计算出受光效应影响较小的VGG特征φVGG（Igray），以及对光效应更具鲁棒性并包含背景细节的HF特征φHF（Igray）。

图6。Igray的VGG特征图和Igray的HF特征图的示例。正如人们所观察到的，这些特征较少受到光效应的影响。
获得Igray后，我们将损失定义如下：

其中Igray＝{Igray，Igray，伊格雷}。φl VGG（.）表示从VGG16网络的第l层提取的特征图（我们在实验中设置l=15）。φHF（.）表示从引导滤波器获得的高频特征图。我们将这些HF层连接起来，得到φHF（Igray）。我们使用这些特征来更好地保存生成的细化背景图像Jrefine中的HF信息。图图5显示了我们获得Igray的自适应融合方案，我们从中计算HF特征和VGG特征。图图6显示，随着我们的损失到位，Igray的VGG和HF特征保留了结构信息。
对抗和身份损失
我们的生成器和鉴别器的对抗性损失φdis使用其标准定义[12,26]：

虽然我们的光效抑制网络旨在通过抑制任何剩余的光效来细化Jinit，但我们也鼓励它在输入没有光效Jef时输出相同的无光效图像。我们通过使用以下身份丢失函数[51]来实现这一点：

我们将每个损失函数与其各自的权重相乘，用相同的比例调整λgray-feat=1，λatten=0.5，并使用[51]中的λadv=1和λiden=5的权重。HF层使用平滑核K，其大小由K=2i，i=2，3，4，…给出。。。，正则化=0.04.08。

4实验结果

对夜间数据的光效应抑制我们实验中使用的真实夜间图像是从互联网上下载并由我们自己收集的。我们将这些图像用于我们的非配对训练，因为收集相应的无光效地面实况图像是困难的。
对于用户研究，我们随机选择了210个输出（每个方法30个，7种方法），并以随机顺序将其呈现给12名参与者。我们要求他们将这些方法从不切实际的（1）到现实的（7）进行排序；光效应仍然存在（1）到被抑制（7）；能见度低（1）到能见度好（7）。表1显示了用户研究结果。表2显示了夜间数据的定量结果，其中我们的方法具有最高的PSNR和SSIM得分。

图7显示了真实夜间图像的定性结果，这证明了与基线方法相比，我们的结果的优越性。图8显示了对Dark Zurich[30]数据集的评估。可以观察到，光效应抑制基线[32]存在幻觉/伪影，无法处理白光效应。在补充材料中，我们展示了夜晚的结果。

去雾基线[38，44，23]，其太暗，因为它们不是为了增强暗区域而设计的；而微光图像增强基线[15，1，19，7]错误地增强了光效应，从而降低了图像的可见性。
微光增强除了抑制夜间灯光效果外，我们的方法还可以通过简单地将灯光效果层设置为G0来提高没有灯光效果的微光图像的亮度。为了进行公平的比较，我们比较了低光增强和图像增强方法，而不考虑光效应的存在。
我们分别采用LOL数据集[7]6485个训练图像和15个测试图像。表3显示了定量结果，其中与基线方法相比，我们的方法在PSNR、SSIM、均方误差（MSE）和学习感知图像块相似性（LPIPS）[45]。我们在LOLReal[42]7100测试图像上评估了更多样化的场景。我们在LOL数据集上训练我们的方法，并在LOL-Real测试拆分上进行测试。结果如表4和图9所示，显示了我们方法的通用性。与基线方法相比，我们的方法在PSNR、SSIM方面取得了更好的性能。
基线如表5所示，只有一种算法，即Sharma和Tan[32]，可以同时抑制夜间灯光效果和增强黑暗区域。然而，该方法无法处理白光效果，并且存在幻觉/伪影。夜间除雾方法可以抑制辉光，但不适合增强弱光区域。低光图像增强方法没有被设计为同时抑制夜光效果和增强低光区域。

然而，为了进行综合比较，除了与[32]进行比较外，我们还将我们的方法与最先进的单图像微光图像增强方法进行了比较：EnlightenGAN[15]、Afifi等人[1]等和夜间除雾方法：Yan等人[38]、Zhang等人[44]、Li等人[23]等。所有基线方法的代码都是从作者那里获得的。补充材料中提供了更多的基线结果。
联合光效应抑制和暗区增强如图10所示，联合抑制光效应然后增强暗区比任何其他可能性都更有效（即，（b）单独的光效应抑制，（c）光效应抑制然后增强而不联合训练，（d）单独增强，和（e）增强然后光效应抑制而不进行联合训练）。如果我们首先抑制光效应，然后在没有联合训练的情况下提高强度，如图所示。10c，伪影和剩余光效应也会增强。如果我们先提高强度，然后在没有联合训练的情况下抑制光效应，如图10e所示，由于放大的光效应会导致信息和细节损失，因此无法有效抑制光效应。

消融研究
图11、图12和图13显示了我们的框架、光效应层引导以及我们的方法中使用的结构和HF特征一致性损失的有效性，这清楚地表明，所有组件对于更好的性能都很重要。
分解+抑制为了显示我们基于模型的无监督分解的有效性，我们在没有分解模块的情况下训练我们的网络。我们直接将夜间图像输入到光效应抑制网络，因此没有光效应层引导和初始背景结果。类似地，为了显示我们的无监督光效应抑制的有效性，我们假设通过分解生成的初始背景图像Jinit部分是没有任何细化的最终结果。我们的最终结果在抑制光效应方面更有效，在恢复背景方面更自然。



灯光效果层引导
我们比较了使用和不使用光效应层引导的方法的结果。我们将（G0，Jinit）输入到光效抑制网络，而不是输入（G，Jiit）。这意味着没有光效层G，我们将最初估计的背景场景与所有零映射G0连接起来。图2-4显示了光效应层的结果。图12显示，在光效层引导下，我们的方法可以区分光效区域和背景区域，专注于光效区域，并适当抑制光效（包括白色和多色光效）。
结构和HF特征一致性结构和HF特性一致性损失可以抑制伪影并恢复丢失的细节。图13比较了我们的方法在有和没有这种损失的情况下的结果。

5结论

在本文中，我们提出了一种方法来抑制光效应，同时提高单个夜间图像中暗区域的强度。为了实现我们的目标，我们将光效应抑制问题视为无监督分解问题。我们提出了一个由层分解和光效应抑制网络组成的集成网络。我们的实验表明，我们的方法优于最先进的能见度增强和光效应抑制方法。