A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images

A Retinex based GAN Pipeline to Utilize Paired and Unpaired Datasets for Enhancing Low Light Images

——利用成对和不成对数据集增强微光图像的基于GAN Pipeline的Retinex网络

主要使用的参考文献：Unpaired image-to-image translation using cycle-consistent adversarial networks、Deep retinex decomposition for low-light enhancement（分解网络）、U-Net: Convolutional Net-works for Biomedical Image Segmentation（U-net网络）

摘要

摘要——微光图像增强是发展鲁棒计算机视觉算法的一个重要挑战。对此的机器学习方法要么是无监督的，要么是基于成对数据集的有监督的，要么是基于不成对数据集的有监督的。本文提出了一种新的深度学习管道，可以从成对和不成对的数据集进行学习。优化以最小化标准损失的卷积神经网络和优化以最小化对抗损失的生成对抗网络用于实现微光图像增强过程的不同步骤。利用循环一致性损失和修补的鉴别器来进一步提高性能。本文还分析了不同组件、隐藏层和整个管道的功能和性能。

索引术语——弱光图像增强、视网膜理论、生殖对抗网络、周期一致性。

总结：1、从数据集出发---可以实现成对不成对数据集之间的训练     2、优化卷积网络和对抗网络增强图像处理     3、循环损失 和 修补鉴别器 提高性能

介绍和相关工作

tip：微光图像存在一系列问题，如低可见度、噪声、色彩失真等。基于视网膜的算法侧重于图像的分解，以获得代表物体“真实颜色”的反射率。

本文提出了一种基于DNN算法的流水线来增强弱光图像，具有以下优点。

1、利用成对和不成对数据集的系统。标准CNN神经网络用于从配对数据集学习，而GAN神经网络用于从非配对数据集学习。

2、CNN和GAN架构及其协调是以retinex模型为灵感设计的

模型

问题：1、测量图像的亮度 2、在弱光图像下提取图像信息 3、再保存图像信息的的时候提升图像亮度 4、在增强亮度的时候抑制噪声和变形

解决思路：对于1、2采用分解网络完成，主要是基于retinex模型驱动的。将图像颜色信息和照明信息。 对于3、4采用增强网络完成，第一部分关注像素的邻域，第二部分关注局部和全局邻域。

注解：分解需要理解图像在不同光照条件下是如何变化的。这种关系可以通过使用成对的图像(在光线充足和光线不足的情况下拍摄的同一场景)来有效地学习。 增强需要理解图像中不同类型的场景和对象。很难为此任务获得成对的数据集。因此，我们依赖于不成对的数据集。

整体模型如下:

A. Retinex decomposition network

图像被分解成反射率R和照度I两部    R:反射率:这部分有图像的颜色信息。这是一个3通道图像，其尺寸与原始图像相似。我们假设这一部分在单个场景/对象的不同照明条件下是一致的。 照明I:这是一个单通道图像，代表一个图像的照明效果。

定义 从S-low到S-high 的网络为G 定义 从S-high到S-low 的网络为F

Decomp-net。G1和f1都是使用LOL数据集[19]训练的，该数据集由光线充足和光线不足的彩色图像对组成。   注：分解需要光照不同变化，所以LOL数据集特别适合。

B.Enhancement network

增强是使用神经网络完成的。该架构的灵感来自于U-Net ，其对U-Net的修改见表1。 该CNN以R和I的串联作为输入(不同于U-Net)。这将输出光照图（照明地图的增强版本）。由于很难找到具有低照度和良好照度图像对的数据集，使用成对数据集学习技术来训练增强网络是不实际的。因此，我们使用一个不成对的数据集和一个生成对抗网络来训练增强网络。

循环一致性： 为了增强训练过程，我们使用了两个GANs ，它们将从弱光图像生成明亮的图像，反之亦然。我们使用如图1所示的这些GANs，通过对抗损失来保持周期的一致性。这减小了生成的图像和预期图像分布之间的距离。 G1、G2、f1和F2是可训练组件(基于UNet架构)，而G3和F3是不可训练组件(应该是反射模型)。

损失函数的想法： 第一部分：考虑正向反向的周期一致性损失- 从low-high-low 正向 从high-low-high 反向

第二部分：考虑反射图都是一样的

总的损失函数:

增强网络的训练:

损失函数 (H代表二元交叉熵)

神经网络(G2，G3，F2，F3)是针对一个数据集进行训练的，该数据集是通过从LOL数据集添加485幅光照良好的图像而创建的.

C.Patched Discriminator 

损失函数：

结果与讨论

A.性能指标  SSIM NIQE B. Retinex decomposition     R-low 和R-high可反映效果 C. GAN based illumination enhancement 与普通的GAN 网络来说CycleGAN 产生更好的照明增强是显而易见的

D.Complete low-light image enhancement system

采用了四种不同的GAN网络做实验

1行:弱光输入图像。 第2行:光线充足的地面真相。 第3行:GAN增强图像。 第4行:Retinexnet增强图像。 第5行:基于retinex的GAN增强图像。 第6行:基于视网膜的CycleGAN(我们的)增强图像。

总结和不足

使用了成对和不成对数据集训练网络，其中将CNN网络和GAN网络结合使用了。对于不同的网络，使用成对数据集或者不成对数据集，没有实现混合训练，效果还是有待商榷的。

PS:小白一个，还希望多多指正批评。