暗光增强论文：“EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure”

暗光增强论文：“EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network”

摘要

暗光增强的目的：提高图片的亮度，找到暗区所隐藏的图片的信息。
现存的方法有如下三个问题：
(1)低光照的图片一般有较高的对比度。（颜色差异较大）因此现有方法很难复原暗区或者亮区的细节。
(2)和暗光增强大多数问题一样，暗光会导致颜色失真不可复原。
(3)由于物体的边界比较模糊，pixel-wise loss会对不同的物体进行相同的处理，并导致一个模糊的结果。
本论文提出了二阶段的边缘增强的多曝光融合网络（Edge-Enhanced Multi-Exposure Fusion Network）用于极暗图像的增强。
在第一阶段，使用多曝光融合模块来解决高对比度问题和颜色的偏差。本文作者通过原始图像设置不同的曝光时间来合成多张不同的图像，并通过融合多曝光图像中曝光良好的区域重建了一张正常曝光的图像。
在第二阶段，通过边缘增强模块（edge enhancement module），通过提取到的边缘信息来精化原始的图片。
因此，作者认为本文可以重建获得sharp edge的高质量的图像，并在See-In-the-Dark的数据集上取得了不错的效果。
（很奇怪问什么不在LOL Dataset上做？）

Introduction

过去的方法有什么问题？

传统的方法：通过对像素的增强来获得一个更加自然的分布。
深度学习方法:设计较深的网络来恢复高质量的图像。存在以下三个问题：
（1）由于low-light的图像的对比度较高，难以获得一个一对一的映射来恢复极暗和极亮的区域。生成的图像有可能存在噪声或者存在模糊。
（2）由于缺乏well-exposed的图像的信息，可能会受到颜色畸变的干扰。
（3）像素级的loss对图片的空间分布处理是平等的，会导致$l_1$ loss和$l_2$ loss被相邻的像素平均化。生成的图像边界容易模糊，细节也不是很好。

Contributions

（1）提出了一个多曝光融合的网络（multi-exposure fusion， MEF），用于解决高对比度问题和色彩偏差问题。
（2）通过边缘增强网络精化细节。
（3）效果不错。

相关工作

低光照增强

传统算法：直方图均衡化和Retinex增强

直方图均衡化问题：仅考虑逐像素的映射，未考虑像素会受到周边像素的影响。
Retinex-based增强：先预测一个illumination map，并通过这个照明图进行重建。缺点是在有很多噪声的极暗条件下很难预测一个照明图。

深度学习算法

LLNet：对比度增强模块+去噪模块
LLCNN：多尺度的特征图来进行图像增强
Retinex-Net：Decom-Net用于图像分解，Enhance-Net用于光照图的调整。
CAN：模拟若干种的processing operator

边缘检测

（1）通过设置不同的filter来人工获得边缘图：Canny算子等等
（2）通过提取到的边缘信息来设计data-driven模型，比如随机决策森林。
（3）深度学习方法来学习复杂的特征表示。
由于人眼对图片的边缘信息更加敏感，本文希望通过边缘细节的增强来提高复原的效果。

Methodology

Stage-I 多曝光融合

图片生成
输入一张raw图片$I_{low}\in {\mathbb{R}}^{H\times W\times 1}$和一系列不同的曝光度值{ $k_1,k_2,...,k_N$}来通过公式$I_i=Clip(I_{low}\times k_i)$从而生成多张曝光度的图片{ $I_1,I_2,...,I_N$}。在Learning-to-see-in-the-dark那篇论文里，作者用了一个特定的exposure ratio $k^{\ast }$。然而考虑到多曝光图片中的信息冗余，将多张不同的图像引入网络中不一定会提高性能，反而会增强计算的代价。
图像融合
从若干个生成的图片 I = { I 1 , I 2 , . . . , I N } I=\{I_1,I_2,...,I_N\} I={ I1​,I2​,...,IN​}中获得初始图片$I_{normal}$, I n o r m a l = M E N