图像增强论文精读笔记-Underexposed Photo Enhancement using Deep Illumination Estimation(DeepUPE)

1. 论文基本信息

• 论文标题：Underexposed Photo Enhancement using Deep Illumination Estimation

• 作者：Ruixing Wang等

• 发表时间和期刊：2019；CVPR

• 论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8953588&tag=1

2. 研究背景和动机

现有的研究方法在低光图像增强都存在或多或少的缺陷，如下图所示：

（1）由于颜色通道之间的非线性以及数据的复杂性， 现存的基于Retinex模型方法往往不能在颜色恢复方面做得很好。

补充：
“颜色通道之间的非线性”指的是在图像处理中，不同颜色通道（例如红色、绿色和蓝色）的值之间并不总是呈线性关系。线性关系意味着当一个通道的值发生变化时，其他通道的变化是成比例的；但在非线性的情况下，通道之间的变化是不规则的，可能会以复杂的方式相互影响

 （2）现存的基于学习的方法往往计算一个图像-图像的映射，而且所使用的数据集并不契合低光图像增强

3. 主要贡献

• 提出一个网络用于估计一个网络到亮度图的映射，并且设计了一个由重建损失、平滑损失、颜色损失组成的全新的损失函数；

• 构建了一个全新的数据集，内含3000个图像对，每个图像对由低光图像以及其经过专业人士修正后得到的正常图像组成。

4. 方法和模型

通常来讲，图像增强可以说是找到一个映射F，理想图像公式如下：

 

最近的一些方法中F的逆过程是找到一个亮度图S，使得原图像I为理想图像与S相乘，即：

 

一旦S得知，就可以通过下式求得最佳的图像：

 

网络总体架构图如下。具体流程为：

(1) 第一阶段，Input为低光图像，Expert-retouched为人工修图的参考图像（即ground-truth），输入图像首先经过下采样送到Encoder，文中采用预训练的VGG16作为Encoder。接着分别进行全局特征提取以及局部特征提取(局部特征提取：两个卷积层；全局特征提取：两个卷积层+三个全连接层)，接着把它们concat起来，通过一个卷积层预测低分辨率图像。最后基于双边网格的方法来上采样得到全分辨率的多通道亮度图S。使用多通道亮度图而不是单一通道亮度图在于提高其颜色增强能力。

(2)第二阶段，计算平滑性损失，通过公式：

得到全分辨率的增强图片，再将此图片和参考图像分别计算重建损失、颜色损失

整体损失函数部分如下图所示： 

5. 个人思考与讨论

        个人粗浅见解，这篇工作是一篇引用量很高的经典之作。其网络架构简洁明了，实验部分也很充分，作者团队基于不同数据集进行了视觉上的评估、SSIM等指标的定量评估以及选取了500位用户进行用户评估。损失函数设计也是条理清晰。