图像融合亮度一致_重磅干货低光图像处理方案

      点击上方“AIWalker”，选择加“星标”或“置顶”
   重磅干货，第一时间送达

Tips：一点点提示，因内容较多建议先关注，再置顶，最后端杯茶来精心浏览。

背景

低光图像是夜晚拍照时极为常见的一种现象。不充分的光照会极大的降低图像的视觉质量，细节损失、低对比度不仅导致令人讨厌的主观感受，同时会影诸多计算机视觉系统的性能(这些系统往往为正常光照图像而设计)。

导致低光图像的原因有很多，如低光环境、低端拍摄设备以及不合理的拍照设备的配置等。为尽可能的恢复图像的细节信息，改善图像质量，我们急需一种有效的低光图像增强方案。

在过去的十年里，许多研究人员对低光图像增强展开了研究并提出了多种技术。如Histogram Equalization(HE)及其改进；Retinex理论及其改进等等。

本文主要关注深度学习方法在该领域的一些进展，将简单汇总与介绍近几年相关的深度学习方法以及相应的数据集、相关技术的评价标准等等。

数据

这里汇总了一些公开论文中用到的低光图像数据，供模型训练与测试参考。   在低光图像增强领域中，目前最常用的数据集为SID与LOL这两种数据集。这两个数据集分别代表了低光图像增强领域的两个场景。

SID是极暗场景下的数据集，它的输入为未经任何处理的RAW格式数据，未经ISP处理；而LOL则是类似夜景这种有一定光照条件下的低光数据集，它的输入与输出均为PNG格式的数据，即经过了ISP处理。

Table.1 与低光图像增强相关的数据集

dataset	简介	链接
VIP-LowLight	Eight Natural Images Captured in Very Low-Light Conditions	链接
ReNOIR	RENOIR - A Dataset for Real Low-Light Image Noise Reduction	链接
Raw Image Low-Light Object	-	链接
SID	Learning to see in the dark	链接
ExDARK	Getting to Know Low-light Images with The Exclusively Dark Dataset	链接
MIT-FivK	Learning Photographic Global Tonal Adjustment with a Database of Input / Output Image Pairs	链接
LRAICE-Dataset	A Learning-to-Rank Approach for Image Color Enhancement	-
The 500px Dataset	Exposure: A White-Box Photo Post-Processing Framework	-
DPED	DSLR-quality photos on mobile devices with deep convolutional networks	链接
LOL	Deep Retinex Decomposition for Low-Light Enhancement	链接
VV	-	链接

方法

时间	方法	场景
2015	LLNet A Deep Autoencoder Approach to Natural Low Light Image Enhancement	低光
2017	DSLR Quality Photos on Mobile Devices with Deep ConvolutionalNetworks	低光
2017	MSRNet Low Light Image Enhancement using Deep Convolutional Network	低光
2017	LLCNN A Convolutional Neural Network for Low light Image Enhancement	低光
2017	LIME Low light Image Enhancement via Illumination Map Estimation	低光
2017	Deep Bilateral Learning for Real Time Image Enhancement	低光
2018	DeepISP Towards Learning an End to End Image Processing Pipeline	低光
2018	Getting to Know Low Light Images with The Exclusively Dark Dataset	低光
2018	Deep Retinex Decomposition for Low Light Enhancement	低光
2018	Learning to see in the dark	暗光
2019	End to End Denoising of Dark Burst Images using Recurrent Fully Convolutional Networks	暗光
2019	GLADNet: Low Light Enhancement Network with Global Awareness	低光
2019	Kindling the Darkness: A Practical Low Light Image Enhancer	低光
2019	Learning Digital Camera Pipeline for Extreme Low Light Imaging	暗光
2019	A Pipeline Neural Network for Low Light Image Enhancement	低光
2019	Underexposed Photo Enhancement using Deep Illumination Estimation	低光

上表中汇总了最近几年深度学习在低光图像增强领域中的几种方法。下面将分别针对这些方法进行简单的总结与介绍。

0. Retinex理论

经典的Retinex理论模拟了人眼颜色感知，它假设观测图像可以被分解为两种成分：Reflectance与Illumination。假设表示观测图像，它可以被分解为：

其中，表示反射图，表示亮度图， 表示点乘操作。反射图描述了观测目标的固有属性，它可以被视作常量且与光照无关；亮度图表示了目标的不同光照。低光图像存在暗光与不平衡的亮度分布。

在传统方法中，Single Scale Retinex, SSR通过高斯滤波为亮度图添加平滑性作为最早期的尝试；MSR, MSRCR通过添加多尺度高斯滤波与颜色还原对SSR进行了拓展。关于更多相关技术可以参考：Retinex Image Processing.

在深度学习方法中，已有诸多方法尝试将Retinex理论与深度网络相结合，在降低学习难度的同时提升算法性能，如RetinexNet。

1. GLADNet

project, code

GLADNet的核心：(1)为低光输入计算全局亮度估计；(2)基于前述所得与原始输入调整亮度。它将输入图像缩放到特定尺寸并送入到编解码网络中生成关于亮度的全局先验信息，基于全局先验信息与原始输入图像，采用卷积神经网络进行细节还原。在训练过程中，作者采用RAW图像合成的数据进行训练。通过大量实验验证了所提方法的有效性。

img

上图给出GLADNet的框架图，从中可以看出，该网络由两部分构成：

• 全局亮度先验估计

  在该部分中，作者采用了一个编解码网络架构用于估计全局亮度信息。注：为估计亮度信息，它需要将输入图像下采样到固定尺寸，这样可以保证该架构的底层感受野可以包含整个图像。

  该子网络包含三个步骤：(1) 缩放输入特征到特定分辨率；(2) 采用编解码架构估计全局亮度信息；(3)缩放到原始分辨率。

• 细节还原

  全局亮度估计过程中由于尺度缩放问题会导致细节损失，为弥补该问题，作者设计了该细节还原子网络。

  相比编解码网络输出，原始输入图像应当包含更多的细节信息，因而可以为细节还原提供更多信息。该子网络以全局亮度信息+原始输入图像作为输入(这样可以保证了原始信息与亮度估计互补并传递到后续网络)，该子网络另外包含三个卷积操作。

• 作者在训练过程中采用RAW图像进行训练数据的合成，采用加权损失函数进行训练。加权损失函数定义如下：

  其中，，这种参数设置可以保证颜色平衡问题，提升网络的鲁棒性。

1558145522602

1558145694627

1558145733411