CVPR2020低光照图像增强论文Learning to Restore Low-Light Images via Decomposition-and-Enhancement阅读笔记

原文链接：Learning to Restore Low-Light Images via Decomposition-and-Enhancement | IEEE Conference Publication | IEEE Xplore

论文来源：CVPR2020

作者团队：大连理工，香港城市，鹏程实验室

Abstract 

同时增强弱光图像并去除其噪声是不适定的，我们观察到噪声在不同频率层中表现出不同的对比度，并且在低频层比在高频层更容易检测噪声。受此启发，我们提出了一种基于频率的分解和增强模型，用于微光图像增强。基于该模型，我们提出了一种新的网络，该网络首先学习在低频层恢复图像对象，然后基于恢复的图像对象增强高频细节。此外，为了便于学习，我们还准备了一个新的具有真实噪声的微光图像数据集。最后，我们进行了大量的实验，结果表明，该方法在增强实际噪声弱光图像方面优于现有的方法。

1.Introduction

在本文中，我们讨论了弱光sRGB图像增强问题，它涉及两个问题：图像增强和去噪。我们的动机基于两个观察。首先，与图像高频层（图1（d））相比，图像低频层保留更多的信息，例如对象和颜色，并且受噪声的影响较小（图1（c））。这表明增强低频图像层比直接增强整个图像更容易。其次，图像原语的极低内在维数使得神经网络能够学习图像原语的全部知识[29,41]。因此，给定基元的低频信息，网络可以通过推断相应的高频信息来重构整个基元。有了这样的先验知识，我们就可以学习从恢复的低频层增强高频细节。

这两个见解启发我们学习基于频率的微光图像分解和增强模型。为此，我们提出了一种新的神经网络，该网络利用关注上下文编码（ACE）模块自适应地选择低频信息，以便在第一阶段恢复低频层和噪声，并在第二阶段选择高频信息进行细节增强。我们还提出了一个跨域转换（CDT）模块，利用基于多尺度频率的功能在两个阶段进行噪声抑制和细节增强。如图2所示，我们的方法可以在恢复内容/细节并抑制噪声的情况下增强带噪微光sRGB图像。

主要贡献如下：

1.我们提出了一种新的基于频率的分解和增强模型来增强微光图像。它首先在抑制噪声的同时恢复低频层中的图像内容，然后恢复高频图像细节。
2.我们提出了一个网络，其中一个关注上下文编码（ACE）模块用于分解输入图像以自适应增强高/低频层，另一个关注跨域变换（CDT）模块用于噪声抑制和细节增强。
3.为了便于学习，我们准备了一个包含真实噪声的微光图像数据集和相应的地面真实图像。

3.Proposed Model 

我们的方法受到两个观察结果的启发。首先，与直接增强整个图像相比，增强带噪微光图像的低频层更容易。这是因为低频层中的噪声更易于检测和抑制。然后，通过分析图像低频层的全局属性，可以正确估计图像照明/颜色。第二，众所周知，自然图像的原始部分，例如边和角，具有非常低的固有维数[29]。这种低维性意味着少量图像示例足以很好地表示图像基元[41]。因此，给定基元的低频信息，我们可以推断出相应的高频信息。

基于这两个观察，我们提出的模型，如图3所示，有两个主要阶段。在第一阶段，我们建议学习低频图像增强函数C（·），然后学习用于颜色恢复的放大函数A（·）。通过将映射从C（·）联合导出到A（·），网络不必同时学习全局信息（如照明）和局部信息（如颜色），从而实现更有效的增强。从形式上讲，给定一幅弱光sRGB图像I，第一阶段增强可以写成：

Ia = αA(C(I))·C(I)

其中Ia为放大低频层。请注意，A与基于retinex的方法中的照明图不同，因为我们根据增强内容C估计相对放大图与可学习的全局比率α。换句话说，αA（·）可以解释为以自我注意方式增强C的error map。

在第二阶段，我们建议学习基于第一阶段Ia的高频细节增强函数D（·），而不是直接从原始输入图像I恢复高频细节，因为原始输入图像I有噪声。然后以残差的方式对D（·）进行建模，最终增强图像可以如下所示：

Ic = Ia + D(Ia)

图4显示了模型每个步骤的输出。（按论文所说，Ia为低频域上的增强结果，D是高频域上的增强结果，但从这个图上看，Ia中的信息更像高频，反而D上几乎看不出什么细节纹理，感觉只是作为了上一阶段的增强欠缺区域的残差加到了Ia上一样）

我们的模型使用了两个新的模块，注意上下文编码（ACE）模块和跨域转换（CDT）模块。下文将对此进行解释。

3.1.ACE Module 

ACE模块的目标是学习图像分解的频率感知特征。为此，我们扩展了最初用于编码远程关系的非局部操作[42]，以选择频率自适应上下文信息。图5显示了框图。

我们使用图3中的第一个ACE模块进行解释。给定输入特征∈ RH×W×C，我们首先使用两组扩张卷积（内核大小/扩张率为1/1和3/2），表示为fd1和fd2，以提取不同感受野的特征。然后，我们计算这两个特征之间的对比度感知注意图Ca，如下所示：

Ca = sigmoid(fd1(xin)−fd2(xin)). 

Ca表示像素相对对比度信息，其中高对比度的像素被视为属于高频层。然后我们计算逆映射从xin中选择特征，将低频内容表示为：。我们通过最大池进一步缩小选定的特征xc，以获得紧凑的特征xc↓ 并减少GPU内存和计算，以建立非局部像素对像素的依赖关系。

给定xc↓ ，非局部上下文编码过程可以写成：

 g、h、f代表着一系列卷积、reshape、转置等组成的操作，首先计算像素矩阵M，然后通过考虑每个像素与所有其他像素的关系来计算非局部增强特征xr c。最后，我们以残差的方式获得频率感知的非局部增强特征xout=unpool（xr c）+xc，以促进学习过程。

注意，图3中的两个ACE模块共享它们的权重。第二个ACE模块使用对比度感知注意图Ca（而不是反向映射）从代表高频层的特征中学习图像细节。图6显示了两个ACE注意图（第一阶段的Ca逆和第二阶段的Ca）及其相应的分解特征图（第一阶段的xc逆和第二阶段的xc）。

 3.2.CDT Module 

 充分了解微光图像的全局属性有助于恢复照明和图像内容。为此，我们提出了CDT模块，如图7所示，以增加感受野，同时弥合弱光域和增强域功能之间的差距。CDT模块在增加更多全局信息的接收范围方面与[39]具有相似的精神，专门设计用于同时解决领域差距问题，即在噪声弱光领域提取的频率感知特征与增强领域提取的频率感知特征。

具体地说，在第一阶段，来自编码器xen的噪声特征首先通过自导出的逆对比度感知映射Ca逆在空间上重新加权，以过滤出高对比度信息，然后与来自相应解码器的特征xde连接。然后，我们从级联特征[xen，xde]计算全局缩放向量v，以便以通道方式自适应地重新缩放来自不同域的特征。在第二阶段，我们使用对比度感知的注意图Ca代替Ca逆来学习图像细节，类似于ACE模块。 

Loss function

网络采用两阶段训练方式，在第一阶段中为了使网络能够正确分离低频特征，作者用引导滤波对ground truth进行了处理获取高频分量，用高频分量来约束C，（看到这里才感觉网络的设计并不那么重要，重要的是有了这个约束，网络相当于学了个高频滤波器，这样就可以很轻松的把高低频信息区分开）与L2损失一起作为损失函数

 另外还用了VGG损失