图像增强论文精读笔记-Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images(SICE)

1. 论文基本信息

• 论文标题：Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images

• 作者：Jianrui Cai等

• 发表时间和期刊：2018；IEEE TIP

• 论文链接：https://ieeexplore.ieee.org/document/8259342

2. 研究背景和动机

        现存的图像增强方法有基于多张图片的（MEF）以及基于单张图片的（SICE），MEF会由于多张曝光图像的物体位置不同等等而引入伪影，从前的SICE方法会由于单张图像信息不够而无法完美地恢复图像。并且现存的多曝光图像数据集也很少。

3. 主要贡献

        (1) 构建了一个大型的多曝光图像数据集，其中由低or高曝光/正常曝光的图像对组成，正常曝光的图像是由13种算法处理非正常曝光图像序列得来的。基于此数据集可以训练一个高效的CNN来增强单张图像；

        (2) 训练了一个CNN用于单张图像增强；

4. 方法和模型

        (1) 构建的数据集样图如下，每一组非正常曝光是一个图像序列，通过这一个序列结合算法得到正常曝光的图像：

        (2)网络总体架构图如下。增强的过程为分为两个阶段

        第一阶段：首先根据Retinex理论，将图像分为高频R、低频L两部分，高频部分代表局部细节，低频部分代表全局图像的自然性。分解为L和R后分别通过部分增强网络以及细节增强网络

        第二阶段：将两部分结果合起来通过全局增强网络进一步增强

        (3) 损失函数考虑到了MSE损失、L1Norm损失、Structural dissimilarity (DSSIM)损失：

        其中MSE损失用于阶段一的部分增强网络；
        考虑到高频细节部分通常遵循拉普拉斯分布，并包含一些噪声和离群点，阶段一的细节增强网络使用L1Norm损失函数；
        为了提升最终输出的感知质量，阶段二使用基于感知驱动的 DSSIM 度量作为损失函数；

5. 一些缺点

        对于局部大块的极端过曝光情况，恢复效果并不是太好，如下所示。图b是之前MEF的方法，可以看到细节恢复较好；图c是本文的方法，对于右半边过度曝光区域恢复效果不太理想