R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network

• 论文地址：https://arxiv.org/abs/2106.14501
• 论文代码： https://github.com/abcdef2000/R2RNet

文章主要内容

     在弱光照条件下捕获的图像会严重降低图像质量。本研究提出了一种新的基于retinex的实低到实正网络（R2RNet）用于低光图像增强，其中包括三个子网：深度网、去噪网和相对网。我们的R2RNet不仅利用图像的空间信息来提高对比度，而且还利用频率信息来保存细节。因此，我们的模型对所有退化的图像都获得了更稳健的结果。与以往大多数在合成图像上训练的方法不同，我们收集了第一个大尺度真实世界配对低/正常光图像数据集（LSRW数据集），以满足训练要求，使我们的模型在真实场景中具有更好的泛化性能。

解决的问题

1. 现有的低光照图像增强算法在提高图像对比度方面取得了很大的进展，但是忽略了噪声也是图像退化的一类。去噪加到网络前面或者后面，容易造成图像模糊和噪声放大。
2. 很少有模型利用图像的高频信息（纹理、边缘）。
3. 现实生活中很难收集到成对的低光照|正常光，LOL dataset 和 SID dataset无法满足模型训练的需求。

文章的主要贡献点

1. 我们提出了一种新的实低到实正网络（R2RNet）来将低光照图像转换为正常光照图像。该网络由三个子网组成：a Decom-Net, a Denoise-Net, 和 a Relight-Net。Decom-Net的目的是基于Retinex理论将输入图像分解为照明图和反射率图。Denoise-Net的设计是为了抑制反射率图中的噪声。Relight-Net利用低光图像的空间信息来提高对比度，并利用频率信息进行细节重建;
2. 使用了一种新的频率损失函数来帮助关系网恢复更多的图像细节;
3. 不同于以往的方法使用合成图像数据集，本文收集了第一个大规模的真实世界配对低/正常光图像数据集（LSRW数据集），其中包含5650对低/正常光图像满足深度神经网络的训练要求，使模型在现实场景中具有更好的泛化性能。
4. 

文章的主要内容

Retinex theory：

如上图所示，图像可以看作是由入射图像和反射图像构成，入射光照射在反射物体上，通过反射物体的反射形成反射光进入人眼，就是人类看到的图像，如图所示，最后形成的图像可以用公式表示：I(x,y)=L(x,y)﹡R(x,y)

LSRW DATASET

LSRW数据集包含了由尼康D7500相机和HUAWEI P40 Pro手机拍摄的5650对图像。我们使用尼康相机收集了3170对图像，使用华为手机收集了2480对图像。

Decom-Net：

DecomNet中使用多个残差模块（RM）来得到更好的分解结果。每个RM包含5个卷积层，内核大小为{1、3、3、3、1}，内核数分别为{64、128、256、128、64}。我们在快捷连接上添加了一个64×1×1的卷积层。在每个RM前后也有一个64×3×3的卷积层。Decom-Net每次都拍摄成对的低/正常光图像（慢速和正常），并在低光图像和正常光图像共享相同反射图的指导下学习低光及其对应的正常光图像的分解。

Denoise-Net

我们的去噪网络只使用图像的空间信息，因为通过抑制反射率图中的高频信号来消除噪声可能会导致固有细节的丢失。我们将RM替换UNet的每个子模块，构建“深窄”Res-UNet，本文命名为DN-ResUnet。同时用步幅卷积层替换UNet的最大池化层，这将略微增加网络参数，但会提高性能。

去噪网络中使用的RM与Decom-Net中使用的RM略有不同，除了最后1×1的卷积层外，卷积数保持在128个，没有增加。此外，我们在网络的前两层中使用扩张卷积来提取更多的特征信息。

Relight-Net

Relight-Net的目标是在提高低光照图像的对比度的同时，获得高视觉质量的结果（更多的细节保留）。

我们的关系网由两个模块组成：对比度增强模块（CEM）和细节重建模块（DRM）。CEM使用空间信息进行对比度增强，其结构类似于Denoise-Net，我们也利用多尺度融合，将每个反卷积层的输出连接在扩展路径上，以减少特征信息的损失。

复卷积将复滤波矩阵W = A + jB与复值向量h = x+jy卷积，其中A和B是实值矩阵，x和y是实值向量。将向量h与滤波器W卷积后，我们可以得到W∗h=（A∗x−B∗y）+i（B∗x+A∗y）。复卷积Relu（CRelu）在神经元的实部和虚部上使用单独的Relu，即CReLU (W) = ReLU (A)+iReLU (B)。因此，本文选择了复卷积和CRelu来形成DRM，方便可以在频域内调整振幅和相位信息。

我们的DRM由两个空间-频率-空间转换块(SFSC块）和一个频率信息处理块(FIP块）组成。SFSC块旨在聚集频域和空间域信息流。SFSC块首先使用第一个Resblock对空间域内的特征进行处理，然后利用快速傅里叶变换（FFT）将输出特征转换为频域。然后，利用ComplexResblock对频域信息进行处理，最后利用傅里叶反变换（IFFT）将频域信息转换到空间域，可以最大限度地实现空间域和频域的信息交换。利用FIP块对高通滤波器进行模拟，增强图像边缘轮廓，实现细节重建。FIP块的输入包含特征级和图像级频率信号，以减少空间域和频域信息转换造成的信息损失。特征级信号表示SFSC块的输出，通过快速傅里叶变换将输入图像直接映射到频域，可以得到图像级信号。CEM和DRM的输出将被合并为增强的光照图。

实验结果

使用LSRW数据集来训练基于监督学习的方法并在六种公开的数据集上测试。

如图所示。可以看出，一些传统的方法（如SRIE、NPE）会导致增强结果不足，而其他基于Retinex理论的方法（如LIME、视网膜网）会模糊细节或放大噪声。

• feature similarity index mersure(FSIM)利用特征相似性进行质量评价。因为human visual system (HVS)是基于一些低层次特征来感知图像的，而相位一致性特征( phase congruency，PC)可以很好的刻画局部结构。同时由于PC对于图像的变化具有相对不变性，这有利于提取图像中稳定的特征但是有时图像的变化确实会影响观感，所以需要使用梯度特征(gradient magnitude,GM)来弥补。FSIM中使用了PC和GM两个特征互为补充。(越大越相似) 
• GMSD：梯度幅值能够反映结构信息，仅使用梯度幅值作为特征就能产生准确度较高的图片质量预测分数。自然图像往往有着丰富类型的局部结构，不同的结构在失真中会有不同的梯度幅值退化。基于局部质量退化在图像全局上的变化可以反映图像的质量这一观点，文章提出了计算局部梯度幅值相似性来衡量局部图像质量，计算局部图像质量的标准差来衡量图像全局的质量。(越小越证明图像与真实图像相比变化不大)
•   

LIME、DICM、NPE、MEF、VV通常被用作弱光图像增强方法评价的基准数据集，这些方法只包含弱光图像，因此PSNR和SSIM不能用于定量评价。因此，我们使用非参考图像质量评价NIQE来评价我们的方法的性能。

• NIQE(Natural Image Quality Evaluator)的设计思路是基于构建一系列的用于衡量图像质量的特征，并且将这些特征用于拟合一个多元的高斯模型，这些特征是从一些简单并且高度规则的自然景观中提取；这个模型实际上是衡量一张待测图像在多元分布上的差异，这个分布是有一系列的正常的自然图像中提取的这些特征所构建的。(越小越证明图像与真实图像更相似）

改进人脸检测的预处理