1. 论文基本信息
-
论文标题:Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images
-
作者:Jianrui Cai等
-
发表时间和期刊:2018;IEEE TIP
2. 研究背景和动机
现存的图像增强方法有基于多张图片的(MEF)以及基于单张图片的(SICE),MEF会由于多张曝光图像的物体位置不同等等而引入伪影,从前的SICE方法会由于单张图像信息不够而无法完美地恢复图像。并且现存的多曝光图像数据集也很少。
3. 主要贡献
(1) 构建了一个大型的多曝光图像数据集,其中由低or高曝光/正常曝光的图像对组成,正常曝光的图像是由13种算法处理非正常曝光图像序列得来的。基于此数据集可以训练一个高效的CNN来增强单张图像;
(2) 训练了一个CNN用于单张图像增强;
4. 方法和模型
(1) 构建的数据集样图如下,每一组非正常曝光是一个图像序列,通过这一个序列结合算法得到正常曝光的图像:
(2)网络总体架构图如下。增强的过程为分为两个阶段
第一阶段:首先根据Retinex理论,将图像分为高频R、低频L两部分,高频部分代表局部细节,低频部分代表全局图像的自然性。分解为L和R后分别通过部分增强网络以及细节增强网络
第二阶段:将两部分结果合起来通过全局增强网络进一步增强
(3) 损失函数考虑到了MSE损失、L1Norm损失、Structural dissimilarity (DSSIM)损失:
其中MSE损失用于阶段一的部分增强网络;
考虑到高频细节部分通常遵循拉普拉斯分布,并包含一些噪声和离群点,阶段一的细节增强网络使用L1Norm损失函数;
为了提升最终输出的感知质量,阶段二使用基于感知驱动的 DSSIM 度量作为损失函数;
5. 一些缺点
对于局部大块的极端过曝光情况,恢复效果并不是太好,如下所示。图b是之前MEF的方法,可以看到细节恢复较好;图c是本文的方法,对于右半边过度曝光区域恢复效果不太理想