低光图像增强论文Global and Local Enhancement Networks for Paired and Unpaired Image Enhancement阅读笔记

论文链接：http://mcl.korea.ac.kr/research/hukim-eccv2020-glenet/5010.pdf

项目链接：https://github.com/hukim1124/GleNet

论文来源：ECCV 2020

作者：韩国大学

Abstract

1.本文提出了一种新的成对和非成对图像增强方法。包括全局增强网络（GEN）和局部增强网络（LEN）。 2.所提出的GEN可以进行比像素预测更容易训练的通道强度变换。提出的LEN算法基于空间滤波对GEN的结果进行细化。 3.其次，分别提出了配对学习和非配对学习训练方案来训练GEN和LEN。实验结果表明，该算法在成对和非成对图像增强方面均优于现有算法。值得注意的是，所提出的非配对图像增强算法能够取得比最新的配对图像增强算法更好的结果。

1  Introduction

balabala

图像增强方法可以分为全局方法和局部方法。前者导出一个将输入颜色映射到输出颜色的变换函数。后者根据局部邻域信息执行空间滤波以确定像素颜色。 对于图像的自动增强，已有许多研究被提出。大多数早期的研究集中在全局方法上，因为它比局部方法更稳定，计算复杂度更低。然而，仅使用单个变换函数可能不足以产生令人满意的增强图像。相比之下，最近基于深度学习的研究主要采用局部方法。这些方法从大量的成对数据中学习鲁棒的像素级映射。然而，它们需要许多低质量和高质量的图像对。为了克服这一问题，不需要图像对的非成对图像增强引起了人们的广泛关注。然而，尽管已有的研究取得了一些进展，但与现有的成对图像增强方法相比，其效果并不令人满意。

本文提出了两种网络：全局增强网络（GEN）和局部增强网络（LEN）来实现成对和非成对图像增强。GEN执行通道级的强度变换，这种变换比基于U-Net架构的像素级的预测容易得多。LEN进行空间滤波以细化GEN结果。然后，我们分别开发了配对学习和非配对学习的训练方案。特别地，我们提出了一种基于生成对抗网络的两阶段非配对学习训练方案。在MIT-adobe5k数据集上的实验表明，该方法在成对和非成对图像增强方面都优于现有的方法。此外，与传统的配对方法相比，本文提出的非配对方法得到了更好的增强效果。

总之，这项工作有三个主要贡献：

我们提出GEN和LEN用于成对和非成对图像增强。

我们提出了两阶段的非配对图像增强训练方案。

所提出的方法在MIT adobe5k数据集上表现出优异的性能。

3  Proposed Algorithm

3.1  Model

Global Enhancement Network:

设 代表在像素位置p处的rgb通道值，同样，设表示通道c∈{r，g，b}的变换函数，其第k个元素wc把在Ic位置的值k映射为输出强度Ic~上的wc,k。因此，像素p处的信道c的变换强度被定义为：

其中vT p是256维的一个独热编码。

给定一幅大小为256×256的RGB图像，GEN生成一个768维向量，它是三个变换函数wr，wg，wb的串联向量。表1给出了GEN的详细结构，我们使用了MobileNetV3[4]中的反向残差块来减少网络参数的数量。除最后一个操作外，所有“Conv”操作都包括卷积滤波器、批规一化和swish激活。最后一个“Conv”只包含卷积滤波器。最后，我们通过依次应用wr、wg和wb到公式（1），执行逐通道强度变换以获得全局增强图像。注意，GEN可以端到端的方式进行训练，因为强度变换是可微运算。

逆残差块：

 

本文提出的GEN以下三点具有优势： 首先，GEN可以通过执行与像素颜色预测不同的通道强度变换来增强图像，而不考虑其分辨率比例。换言之，基于通道的强度变换可以产生增强图像而无需任何图像调整过程，而基于像素的颜色预测通常需要根据输入图像的空间大小进行调整。 第二，GEN可以节省网络参数的内存，因为它不需要解码器部分来恢复增强图像的空间分辨率。 第三，训练GEN要比使用编解码构的网络容易得多。

与早期的全局增强方法不同，我们不认为三色强度变换函数是单调函数。现有的全局优化方法大多着眼于增强灰度而不是颜色强度，并假设单调约束，以防止产生伪影。然而，单调约束在通道强度变换中不起作用。图3示出了一对输入图像和修饰图像及其信道强度变换函数的示例。在这些例子中，我们看到在低质量图像和高质量图像之间存在许多非单调函数。

尽管GEN有许多优点，但它的局限性在于GEN只考虑一对一映射。然而，如图3阴影区域所示，在低质量图像和高质量图像之间存在多个一对多映射。此外，GEN在通过逐通道强度变换去除输入图像中的噪声和模糊方面可能遇到困难。

 Local Enhancement Network

基于以上问题，本文又提出了LEN网络。LEN网络使用了空间域的滤波（卷积）来对图像的局部进行增强，来弥补GEN的不足。

表2提供了LEN架构的规范。LEN具有编解码器结构。编码器采用增强的GEN图像。编码器降低的空间分辨率，以利用更大的接收场进行空间滤波，而解码器执行上采样以恢复空间分辨率。LEN使用反向残差块来减少网络参数的个数。在表2中，“Upsample”表示双线性插值，用比例因子2增加特征图的大小。第6、第8和第10阶段中的“Concat”层分别将前一阶段的结果与第3、第2和第1阶段的输出连接起来。最后一个卷积层产生残差图像，用于增强的局部区域。最后，通过以下方法获得增强图像：

3.2  Learning

Paired Learning:

假设图像对集合可用，其中ILQ i和IHQ i分别是低质量图像和高质量图像。我们同时训练GEN和LEN以最小化估计图像和ground truth的颜色损失和感知损失，损失函数定义为：

 第一项中的颜色损失惩罚了预测和地面真实高质量图像之间的平均绝对误差。第二项是感知损失[15]，以鼓励增强图像和真实图像在预先训练的嵌入空间上具有相似的特征。因此，我们使用在ImageNet上预先训练的VGG-16[28]来提取特征。在（3）中，φk（·）表示从第k个VGG-16层提取的特征。超参数λp平衡两个损耗分量。

Unpaired Learning:

假设分别是低质量图像和高质量图像的集合且两个集合没有交集。我们在非配对学习中的目标是使用非配对训练样本来学习GEN和LEN。首先，我们采用对抗式学习框架来训练GEN，我们把GEN看作一个生成器。此外，鉴别器的结构与生成器相同，只是最后一个卷积层用于产生标量输出，从而在生成的样本和实际样本之间进行鉴别。然后，我们设计了两种GAN，一种将低质量图像增强为高质量图像，另一种将高质量图像退化为低质量图像。

我们使用带有梯度惩罚的Wasserstein GAN（WGAN-GP）[10]来定义生成器和鉴别器的目标函数。鉴别器的损失被定义为：

前两项都是对抗性损失。最后一项是梯度惩罚，以满足WGAN-GP中的Lipschitz约束。超参数λgp是梯度惩罚的权重。

此外，为了训练生成器Ge和Gd，我们将损失函数定义为：

它是由对抗性的，同一性的，和周期性的颜色损失组成的。对抗性损失（第一项）惩罚生成图像和真实图像之间的Wasserstein距离。同一性损失（第二项）防止生成的图像与输入图像变得太不同。注意，同一性通过减少可能的映射函数的空间来支持稳定的训练。此外，我们还设计了循环颜色损失（第三项），它强制要求重建图像应与其原始图像相似。例如，循环色损失使和之间的平均绝对误差最小化，以训练图4（a）中的增强GAN。为此，我们可以学习生成器Ge来生成与IHQ中的高质量图像相似的增强图像。注意，循环颜色损失与[36]中的循环一致性损失不同，后者认为对于训练Ge应该是相似的。在第4.2节中，我们将验证建议的循环颜色损失与[36]中的循环一致性损失的有效性。 

如之前提到的，我们将GEN看作一个生成器，也就是Ge，所以当上述两个GAN训练完成后，GEN也就训练完成。但训练LEN比训练GEN更困难，因为LEN是用来产生像素级的预测，因此，我们采用不同的方法来训练LEN。具体地说，我们使用Gd生成器对训练样本中的高质量图像进行降质，以获得低质量和高质量图像的伪对然后，利用Ge生成器对退化图像进行增强。为此，我们可以得到一对伪全局增强图像和高质量图像，便可用之前的训练方法训练LEN。

4  Experiments

实验组织如下。在第4.1节中，我们验证了GEN和LEN在低质量和高质量图像对可用时的有效性。我们比较了所提出的GEN和LEN算法与基于配对学习的最新算法的性能。在第4.2节中，我们使用所提出的非配对学习训练GEN和LEN，并与现有的非配对图像增强方法进行比较。

对于所有的实验，我们使用MIT Adobe 5K数据集，其中包含5000个输入图像，每个图像都由五个不同的摄影师（A/B/C/D/E）手工修饰。因此，有5组5000对输入和修饰图像，每个摄影师一组。我们使用由摄影师C修饰的高质量图像用于训练和测试。我们使用训练集中的4500个图像对进行配对学习。相比之下，对于非配对学习，4500个图像对被分为两组，每个组有2250个图像对。第一组中采用输入图像作为低质量图像集，第二组中采用润色图像作为高质量图像集中。请注意，低质量集和高质量集中的图像没有重叠。

对于定量评估，我们采用PSNR和SSIM，分别衡量预测图像和地面真实高质量图像之间的颜色和结构相似性。

4.1  Paired Learning

对于成对学习，我们使用4500个训练图像对来训练GEN和LEN。我们使用Adam优化器[18]以1.0×10−4的学习率最小化（3）中的损失。对25000个小批量进行迭代训练。最小批量为16。为了增强数据，我们将图像随机旋转90度。公式（3）中的参数λp固定为0.04。

首先，为了验证了GEN中通道强度变换的有效性，我们设计了一个baseline，它可以产生像素级的增强结果。baseline具有编码器-解码器结构，其中编码器具有与GEN中的编码器相同的结构。图5显示了根据训练步骤的GEN和baseline的PSNR和SSIM分数。我们观察到GEN通过通道强度变换实现了比基线更快的训练。这是因为强度变换的可能函数空间比像素颜色变换的可能函数空间小得多。值得注意的是，提出的GEN在5000次迭代中超过了baseline的最佳性能。

 接下来，我们将所提出的GEN和LEN算法与最新的先进算法进行比较[4,8,30]。为了进行比较，我们使用各自作者提供的源代码和设置获得了传统算法的结果。表3报告了PSNR和SSIM分数。该算法的性能明显优于所有传统算法。例如，在峰值信噪比（PSNR）和峰值信噪比（SSIM）方面，它可以保证1.86dB和0.030的优势与DUPE相比。同时，LEN利用局部近邻信息克服了GEN的一对多映射问题。请注意，LEN进一步改进了GEN的结果，因此GEN和LEN联合（GEN&LEN）在这两个度量中实现了最佳性能。

图6示出了所提出的LEN的功效。在图6（b）中，GEN在天空、水和拖拉机上产生的色调与图6（d）中摄影师C的润色图像略有不同。这是因为GEN无法处理一对多转换。例如，由于图6（a）中的第一行的天空和地面区域在蓝色通道中具有相似的强度。然后，GEN在天空和地面区域之间产生类似的蓝色强度。因此，如图6（b）所示，由于GEN被定制以增强地面区域，因此天空区域中的蓝色强度没有被充分增强。LEN通过有效的空间滤波克服了这个问题，如图6（c）所示。与GEN相比，GEN&LEN产生了更令人愉悦的视觉效果，其色调与图6（d）中的手动润色图像相似。 

图7定性地比较了所提出的算法与DUPE[30]。在图7（b）中，DUPE[30]未能表达与图7（d）中摄影师C的修饰图像相似的色调和亮度。而且，DUPE的结果对比度有限。另一方面，该算法成功地获得了高质量的彩色图像，与摄影师C的润色图像相似。

4.2  Unpaired Learning

我们对未配对图像进行两阶段训练。具体来说，我们分别为5000和25000个小批量训练GEN和LEN，其中小批量的大小固定为8。Adam优化器[18]再次被采用。我们将初始学习率设置为1.0×10−4，每10000个小批量将其减少0.5倍。超参数λgp、λi、λc和λp分别设置为10、5、50和0.04。为了增强数据，我们将图像随机旋转90度。 

在表4中，我们使用MIT adobe5k数据集将所提出的算法与传统的非配对图像增强算法进行了比较[4,19,26]。提出的GEN算法性能优于所有传统的算法，因为它更容易训练非配对数据。这说明GEN中的通道强度变换适合于非配对学习。此外，我们还看到GEN&LEN与GEN相比提高了PSNR和SSIM的分数，并且在所有度量中产生了最好的结果。值得指出的是，GEN&LEN算法的性能优于表3中所有传统的成对图像增强算法，即使只有未配对的数据用于训练。

 图8定性地比较了所提出的算法与FRL[19]。提出的GEN&LEN模型比FRL模型提供了更真实的图像。例如，FRL不能充分增加亮度，如在图8（b）中的图像中。相比之下，该算法成功地将低质量图像增强为与摄影师C修饰的高质量图像相似的图像。

所提出的训练方案在非配对学习中产生伪配对数据来训练LEN。对于伪配对数据的生成，首先对每个高质量图像进行退化，然后对退化图像进行增强以模拟全局图像增强。我们定性分析了伪偶生成的精度。图9（a）和（b）分别示出了退化图像和真实低质量图像。我们观察到退化图像Gd（IHQ）与真实图像ILQ有很好的相似性。 值得指出的是，来自退化图像和低质量图像的全局增强图像彼此相似，如图（c）和（d）所示。

5  Conclusions

在本文中，我们提出了一种新的算法来实现配对和非配对图像增强。提出的GEN算法进行逐通道的强度变换，LEN算法对GEN算法的全局增强图像进行了改进。针对非配对学习，提出了基于GANs的两阶段训练方案，充分利用GEN易于训练的优点。实验结果表明，该算法在mitadobe5k数据集上的性能优于现有的算法。值得注意的是，GEN和LEN，这是由提出的非配对学习训练，优于传统的配对图像增强算法。