【深度学习在图像增强上的应用】(Zero-DCE)Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

参考应用该篇博客

https://www.cnblogs.com/Aegsteh/p/15805861.html

Zero-DCE

论文地址：https://arxiv.org/abs/2001.06826
Tips：快速下载arxiv论文,在网址后面加上日期和页号
(http://xxx.itp.ac.cn/pdf/1406.2661.pdf)
github：https://github.com/wangyin0810/Zero-DCE

一、论文思路和创新点

论文思路：

在Introduction第二段中点名ZeroDCE网络的特点
在本研究中，我们提出了一种新的基于深度学习的方法，零参考深度曲线估计(Zero- DCE)，用于微光图像增强。它可以应对各种照明条件，包括不均匀和照明差的情况。我们没有执行图像到图像的映射，而是将任务重新表述为图像特定曲线估计问题。特别是，该方法**以微光图像为输入，以高阶曲线为输出**。然后利用这些曲线对输入的动态范围进行像素级调整，以获得增强的图像。曲线估计是精心制定的，以便它保持增强图像的范围和保持相邻像素的对比度。重要的是，它是可微的，因此我们可以通过深度卷积神经网络学习曲线的可调参数。该网络具有轻量化特点，可迭代应用于高阶曲线的近似，具有更强的鲁棒性和更精确的动态范围调整。
步骤：
以图像作为输入，并产生高阶曲线作为输出，再将曲线作为输入，进行像素级调整，最后输出图像。

创新点

• 论文没有使用image to image的方式，而是采用一种新颖的image to curve的方式，实现了无参考训练即不需要成对或者不成对的训练集，将光线增强问题转化为曲线变换问题，对图像中每个像素的增强高阶方程参数进行训练；
• 设计了四种损失函数对网络进行训练，认为是实现光线增强的关键；
• 轻量化结构网络，训练速度快。

二、Introduction

与其他最新的CNN和GAN网络进行对比，Zero-DCE网络在保存图像原本颜色和细节的基础上使图像增亮，相比之下，Wang等人提出的CNN模型增强不足，而EnglightenGan出现过度增强的现象。

三、LE-Curve设计

1、Light-Enhancement Curve

该曲线有三个设计目标：
1)增强图像的每个像素值应在[0,1]的归一化范围内，以避免溢出截断引起的信息丢失;
2)该曲线应保持单调，以保持相邻像素的差异(对比度);
3)在梯度反向传播过程中，该曲线的形式应尽可能简单且可微。
为了达到以上三个目标，文中设计了一个二次方曲线：

LE(I(x);α)=I(x)+αI(x)(1−I(x))   (1)

其中，x为像素坐标; LE(I(x);α)是输入I(x)的增强版本; α∈[−1,1]是曲线的可训练参数，用于调整LE-curve的级数以及曝光度. 每个像素值都在[0,1]之间，每个运算都是像素层面上的.使用时，在输入的RGB通道分别应用LE-Curve，这可以更好地保持固有颜色以及避免过拟合。

2、High-order Curve

Eq.(1)中定义的le曲线可以迭代应用，以实现更多功能的调节，以应对具有挑战性的弱光条件

LEn(x) = LEn−1(x) + αnLEn−1(x)(1 − LEn−1(x))     (2)

3、pixel-wise Curve

高阶曲线可以在更大的动态范围内对图像进行调整。尽管如此，它仍然是一个全局调整，因为α用于所有像素。全球地图倾向于过度/不足增强局部区域。为了解决这一问题，我们将α表示为像素级参数，即给定输入图像的每个像素都有一条与最佳拟合α相对应的曲线来调整其动态范围。

LEn(x)=LEn−1(x)+An(x)LEn−1(x)(1−LEn−1(x))     (3)

假设局部区域内的像素都具有相同的强度(也具有相同的调整曲线，α一致)，因此输出结果中相邻像素仍保持单调关系，所以pixel-wise的高阶曲线也满足设计的3个要求。

从图中可以看出，不同通道的最佳拟合参数映射具有相似的调整趋势，但值不同，说明了弱光图像三个通道之间的相关性和差异。曲线参数图能准确显示不同区域的亮度(如墙上的两个闪光)。拟合后的图像可以通过逐像素曲线映射直接得到增强版图像。如图3(e)所示，增强后的版本显示了暗区内容，保留了亮区内容。

四、Loss Function

1. Spatial Consistency Loss

Lspa 能够维持输入图像与其增强版本之间的邻域差异(对比度)，从而促进增强后图像仍能保持空间一致性。

2. Exposure Control Loss

Lesp 是为了限制曝光不足以及过度曝光的区域，其可以衡量局部曝光强度的平均值与well-exposedness Level之间的差异。文章根据现有的做法，将E设为RGB空间的gray level，本文实验设为0.6（在[0.4,0.7]之间几乎没差异）

3. Color Constancy Loss

根据Gray-World颜色恒等假设, RGB三个通道的平均值近似同一灰度值，然后分别调至每一像素。设计了Lcol 用于纠正增强图像中的潜在色偏，同时也建立了三个调整通道之间的关系。

4. Illumination Smoothness Loss

为了保持相邻像素间的单调关系，在每个curve parameter map A上增加了平滑度损失。

5. Total Loss

五、Experiment

网络包含7个卷积层，最后一层用Tanh激活函数，且采用了skip-connection，即第1.2.3层输出和第6.5.4层输出进行通道级联；文章使用8个迭代作为默认值，且每个通道都要计算高阶曲线，因此是24个图。

1. Effect of Parameter Settings.

在图中，Zero-DCE3 32 8仅使用了三个卷积层，已经可以产生令人满意的结果，表明了零参考学习的有效性。零-DCE7 32 8和零-DCE7 32 16产生最视觉愉悦的结果与自然曝光和适当的对比。通过将迭代次数减少到1，可以观察到Zero-DCE7 32 1上的性能明显下降，如图(d)所示。这是因为只有一次迭代的曲线调整能力有限。这表明在我们的方法中需要高阶曲线。考虑到Zero-DCE7 32 8在恢复效率和恢复性能之间的良好权衡，我们选择它作为最终的模型。

2. Contribution of Each Loss.

我们在图中展示了通过各种损耗组合训练的零- DCE的结果。没有空间一致性损失Lspa的结果比完整结果的对比度(如云区域)相对较低。这表明了Lspa在保持输入和增强图像之间的相邻区域差异方面的重要性。消除曝光控制损失Lexp无法恢复弱光区。当丢弃颜色恒常性损失时，会出现严重的色差。当应用曲线映射时，这个变量忽略了三个通道之间的关系。最后，去除光照平滑性损失LtvA会阻碍相邻区域之间的相关性，导致明显的伪影。

3. Visual and Perceptual Comparisons

我们在图中展示了典型弱光图像的视觉比较。对于具有挑战性的背光区域(如图7a)中的人脸)，Zero-DCE可以获得自然曝光和清晰的细节，而SRIE[8]、LIME[9]、Wang et al.[28]和gan[12]不能清晰地恢复人脸。retexnet[32]会产生过度曝光的伪影。在第二个以室内场景为特征的例子中，我们的方法增强了暗区，同时保留了输入图像的颜色。结果是视觉上的愉悦，没有明显的噪音和色差。相比之下，Li等人的[19]过分平滑了细节，而其他基线放大了噪声，甚至产生了颜色偏差(例如，墙壁的颜色)。

4. Impact of Training Data.

为了测试训练数据的影响，我们在不同的数据集上重新训练Zero-DCE:1)只有900光线暗的图像2422张图片的原始训练集(Zero-DCELow), 2) 9000无标号低光照条件下的图像在黑暗中面对数据集[37](零- DCELargeL),和3)4800多次曝光图像的数据增强Part1和第二部分子集的马夫数据集4。如图©和(d)所示，尽管Zero-DCE使用了更多的弱光图像(即Zero-DCELargeL)，但在去除过度曝光的训练数据后，Zero-DCE倾向于对光照良好的区域(如人脸)进行过度增强。这些结果表明了在网络的训练过程中使用多重曝光训练数据的合理性和必要性。此外，当使用更多的多次曝光训练数据(即Zero- dcelargelh)时，Zero-DCE可以更好地恢复暗区，如图(e)所示。为了与其他基于深度学习的方法进行公平的比较，我们使用了相当数量的训练数据，尽管更多的训练数据可以为我们的方法带来更好的视觉性能。

六、Conclusion

可见，Zero-DCE网络是轻量级的，可用于计算资源有限的设备，例如移动平台等。

不足之处：

• 未引入语义信息
• 没有考虑噪声的影响