“Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression”论文学习

一、论文介绍

Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression论文选自2022年的ECCV会议，共19页。该论文针对夜景图像低光照和光效应/眩光/泛光/辉光的问题，以现有的夜景图像增强算法为基础，利用层分解的方法，使用不成对的训练数据，设计光效应抑制网络，实现了夜景图像光效应的抑制和暗光区域的增强。

二、论文所解决的问题

       1、论文解决的具体问题

        夜景图像低光照和光效应/眩光/泛光/辉光的问题

2、该问题的产生背景

        在夜间拍摄的夜景图像经常会出现图像光线不足光线分布不均匀的情况，导致采集的图像整体亮度偏低或极低，丢失细节信息。大多数现有的夜间能见度增强方法主要集中在增强弱光区域，这不可避免地导致明亮区域的过度增强和饱和，在受光效(如眩光、泛光灯等)影响的区域表现的尤为明显，缺乏一个合适的方法对夜景图像进行优化。

       3、该问题的历史性（历史沿革）

夜晚图像最显著的特点就是图像亮度和对比度低，细节的辨识程度差，从这个问题分析，提升图像亮度最简单直接的方法就是使用线性函数放大图像亮度，然而这一方法缺点明显，因为方法中采用的是全局提升亮度的处理方式，不考虑图像内亮度的空间分布，使增强后的结果在亮度高的区域出现不可避免的过饱和现象，细节丢失严重。为了避免这一现象出现，非线性单调映射函数更适合提升图像的亮度，如幂律函数(Power-.law function)、对数函数(logarithm function)、伽马函数(gamma function)等。这些非线性函数通过调整参数改变图像亮度的增强幅度，利用非线性函数的特点避免亮度较高区域和低亮度区域增强相同幅度引起的失真，保持增强结果的图像质量。其中，伽马函数的应用较为广泛，配合其他图像处理方法能够合理地提升图像亮度，这些方法都属于全局的图像增强算法。直方图均衡化(Histogram equalization,HE)也是全局图像处理方法之一，也能够增强图像亮度。HE能够拉伸图像的直方图的空间分布，提升部分像素的亮度值，增大图像对比度，虽然同样不考虑像素点的空间分布信息，但是由于其算法简单，可用性强，现已广泛地使用到多种图像处理领域。HE的许多扩展算法也被用来增强低照度图像，加入亮度限制、对比度限制、图像金字塔都能提升HE的性能。但是全局增强方法并不考虑图像内的亮度分布信息和细节丢失，提升亮度的映射函数兼顾全局的同时无法保证图像所有区域都得到有效的提升，难以保证图像质量。

        全局夜晚图像增强算法不考虑图像内亮度和细节的空间分布，使用统一的参数和模式提升图像亮度，总是带来不可避免的副效应。学者们将目光投向了局部图像处理方法。对全局图像增强算法最直接的改进是局部直方图均衡化方法(Local histogram equalization,LHE)，使用滑动窗口策略调整局部图像块的直方图来增强图像块的对比度，通常可以分为图像分块算法（即滑动窗口无重叠）、滑动窗口重叠算法和滑动窗口部分重叠算法，三者各有优劣，图像分块算法计算速度快，细节增强充分，但是各图像块之间直方图均衡函数差异较大，容易产生块效应；滑动窗口重叠算法便利图像所有像素，能够有效避免块效应，但是算法效率低，计算消耗资源多；滑动窗口部分重叠算法综合上述二者特点，采用更大的移动步长，平均多次均衡的像素灰度值作为最终输出图像的灰度值。

        传统的线性、非线性方法只能增强图像特定特征，容易降低其他方面的显示效果，例如出现色彩失真或细节丢失等。而Retinex模型可以在多任务中达到平衡，同时兼顾在如下方面，即：动态范围压缩、边缘增强、亮度和对比度增强及颜色恒常上达到平衡，可以适应不同类型的图像进行自适应性的增强。因此，Retinex模型在夜晚图像增强算法中占据了很重要的位置。

       4、解决问题的重要意义

提出一个用于夜间图像增强的无监督学习框架，该框架增强了黑暗区域并抑制了光效应区域，改善了同时受到低光和光效影响的夜间图像的可视性。通过光效应层的引导，指导无监督光效抑制网络更准确地分离光效和背景区域。通过构建新的基于结构和高频特征一致性的无监督结构和高频特征一致性损失函数，更好的还原夜景图像中的背景细节。

三、解决问题的技术体系

       1、解决该问题的传统方法

        目前进行夜景增强的算法主要分为三类：全局夜晚图像增强算法、局部图像处理方法和Retinex方法。

       2、传统方法的优缺点

        全局夜晚图像增强算法能增强图像亮度且算法简单，可用性强，但因为它不考虑图像内的亮度分布信息和细节丢失，无法保证图像所有区域亮度都得到有效的提升，难以保证图像质量。局部图像处理方法能够增强图像特定特征并对细节充分增强，但它因具体算法的不同容易产生块效应，或是较大的计算资源消耗。Retinex模型可以在多任务中达到平衡，对不同类型的图像进行自适应性的增强。但它不考虑夜间灯光的存在，无法很好的处理夜景图像复杂的光效应。

       3、当前论文采用的技术方法

        在这篇论文中，介绍了一种无监督学习方法，该方法将栅格分解网络和光效应抑制网络集成在单一统一框架。我们的分解网络来自图像层模型，并在特定层的先验损失的指导下分解输入将图像转换为背景、反射率和光线效果层。随后，我们的光效抑制网络(在有光效和没有光效的不成对图像上训练)提供了额外的无监督约束。这个网络不仅加强了光效分解，还增强了暗部区域的亮度。为了恢复光效区域后面的背景细节，引入了结构和高频(HF)特征一致性损失。采用基于 VGG 网络的结构一致性，并利用导向滤波器来获取高频特征。

       4、采用当前方法的原因（与其他方法对比）

        虽然目前已经有许多方法能够提高弱光图像的亮度，但它们大都不考虑夜间灯光效果的存在如基于直方图的均衡化、反转、去雾、 retinex 模型优化等方法, 最近提出的一些方法则是基于深层网络。大多数基于深度学习的方法采用监督学习来训练它们的模型，因此需要大量的低/正常光图像对。 一些无监督的方法依靠使用不成对的低/正常光图像的对抗训练。半监督方法在不成对的高质量图像的帮助下，将粗糙到精细的表示重新组合成观感较好的图像。最近，零射击学习方法也已经被提出用于弱光增强。然而，这些夜间图像增强方法中的大多数都不是为抑制夜间而设计的。本文则是将分解和光效抑制网络集成在一个统一的无监督框架中。给定输入夜景图像，我们通过层分解网络抑制光效，在层分解网络中获得光效层、阴影层和反射层。光效抑制由分解后的光效层G引导，并且基于不成对的学习以进一步抑制光效并增强暗区，如图1所示。

图1 分解和光效抑制网络结构图

四、论文的创新点

        1、论文的创新思路

        针对夜景光效应抑制的问题，利用层分解算法分离出光效层进行单独处理，使用不配对的 unpaired 训练数据，设计光效应抑制网络。

        2、论文创新思路的来源

        现有的夜晚去雾算法可以抑制雾天的辉光，但是不能增强低光照区域，也不能抑制晴朗夜晚的光效应。直接生成物理上真实的夜间光效果图，具有挑战性，而在数据集上也缺少成对的 paired 训练数据，难以收集 ground truth进行训练。

        3、论文的创新点

        为了增强同时受到低光和光效影响的夜间图像的可视性，引入了一种网络架构，该架构将层分解和光效抑制集成在一个统一的框架中。 为了区分光效和背景区域，特别是当光效的颜色是白色或无色时，利用估计的光效层作为无监督光效抑制网络的指导。为了恢复背景细节，引入了新的基于结构和高频特征一致性的无监督损失，感知结构信息和高频纹理信息受光照影响较小。因此，它们可以用于保留背景细节，并抑制不想要的伪影。

        4、论文实验结果分析

将从网络下载的夜景图片输入不同的模型中进行强化

图4-1对真实夜间图像进行了光效应抑制和暗区增强的对比实验。

表4-1，夜间数据的定量光效抑制比较。其中，UL =无监督学习，SL =监督学习，SSL =半监督学习，ZSL =零样本学习，Opti =最优化方法。

对用户的调研，我们随机选择了210个输出(每种方法 30 个，7 种方法),并以随机顺序呈现给12名参与者。我们要求他们将这些方法从不现实(1)到现实(7)进行排序；光效仍然存在(1)到被抑制(7)；能见度低(1)能见度高(7)。显示用户研究结果。表4-1显示了夜间数据的定量结果，其中我们的方法具有最高的 PSNR 和 SSIM 分数。

图4-1显示了真实夜晚图像的定性结果，证明了我们的结果与基线方法相比的优越性。图4-2显示了不同模型使用Dark Zurich数据集的强化效果。显然，光效抑制基线受到幻觉/伪影的困干扰，无法处理白光效果。

 图4-2比较来自Dark Zurich数据集光效抑制和黑暗区域增强结果。

图4-3光效层引导的消融研究，有了光效层G引导，光效抑制网络可以聚焦在光效区域，更恰当地分离光效。

图4-4结构和HF特征一致性损失的消融研究Lgray-feat，使用Lgray-feat抑制伪像，并保留细节。

        综合来看，我们的方案在抑制光效方面更有效，在恢复背景方面更自然。光效层引导我们比较了使用和不使用光效层引导的结果。如图4-3，在光效层指导下，我们的方法可以区分光效区域和背景区域，聚焦光效区域，并适当抑制光效(包括白色和多色光效)。通过结构和高频特征一致性结构和高频特征一致性损失抑制伪像并恢复丢失的细节。图4-4比较了我们的方法在有和没有这种损失的情况下的结果。

5、对创新点的评价（创新意义）

        本文创新性的采用将夜景图像分离成阴影层、反射层和光效层，通过对光效层的单独优化减小图像中有害的光效应，从而提高夜景图像的画面质量。此外，还使用了对抗性生成网络对光效层算法进行优化，并通过使用无监督学习网络省去训练数据的标注过程，使这种方案在夜景图像的优化里具有开创性意义。