如何获取图像的驱动_图像太“黑”怎么办？人工智能EEMEFN算法教你如何“美图”...

对于计算机视觉任务来说，图像的质量影响着算法的性能。然而，低光照条件下获取的图像会丢失部分信息，并有可能出现噪声和颜色偏差。因此，低光照下的图像增强任务目的是减少暗区域的颜色偏差，并恢复隐藏的信息。抛开这些理论的介绍，我们先来看看什么是低光照图像[2]：

增强低照度图像的质量有很多简单的算法，比如伽马矫正、直方图均衡和Retinex理论等。常常称这些算法为传统算法或者非数据驱动算法，相对于当前普遍使用的深度学习算或者数据驱动算法，它们往往具有计算简单的优点和效果不足的缺点。Zhu[1]从多曝光融合角度提出了EEMEFN算法，获得了state-of-the-art的暗光增强效果，下面是一组效果图：

Question：EEMEFN认为低光照增强领域研究的难点在哪里？

• 低光照图像往往对比度较高，现存的方法可能无法恢复极度明亮或者极度昏暗的区域；
• 当前的方法不能精确的矫正图像的颜色；
• 目标图像的边缘不清晰时，pixel-wise的损失函数可能对不同目标同等对待，导致模糊现象。

Solution：EEMEFN算法是如何解决这些问题的？

EEMEFN算法的全称是Edge-Enhanced Multi-Exposure Fusion Network，顾名思义，“Edge边缘”和“Multi-Exposure多曝光”就是算法的核心思想。算法共分为两个阶段，第一个阶段通过多曝光融合模型去解决高对比度和颜色偏差问题，第二个阶段通过边缘增强模型的边缘信息进行二次优化。下面是多曝光融合模型和边缘增强模型的结构图：

图中的上半部分(a)是多曝光融合，下半部分(b)是边缘增强。多曝光融合模型（multi-exposure fusion，简称MEF）将多个曝光率（exposure ratios）的图像融合成高质量的初始图像（initial image）；边缘增强（edge enhancement，简称EE）负责对多曝光模型的输出进行增强。更进一步的，MEF和EE这两个模型又都分为步骤，下面分别介绍。

多曝光融合MEF分为生成（generation）和融合（fusion）两个过程。生成阶段通过将像素放大不同的倍数，进而生成多种光照条件下的不同曝光度的图像；融合阶段将来自合成图像部分信息融合到曝光良好的初试图像中。

边缘增强EE由检测（detection）和增强（enhancement）两个阶段组成。检测阶段从初始图像中产生边缘图，增强阶段利用边缘图对初试图像进行增强。

Experiment Part

论文中进行了大量的对比实验和消融实验，评估指标采用峰值信噪比PSNR和结构相似性SSIM，下表是EEMEFN算法和其它state-of-the-art算法的定量比较：

显然，EEMEFN算法在Sony set和Fuji set两个数据集上全部优于其它算法，下面是一组视觉评估比较结果：

为了进一步证明算法的各个模块所起到的作用，论文中提供了大量的消融实验结果，比如下表研究了曝光度的选择对增强结果的影响：

Conclusion Part

论文中提出的EEMEFN算法理论清晰，提供的大量实验结果更进一步的证明了算法在低光照增强上的有效性，其中多曝光融合模型和边缘增强模型更是具有较为普遍的实用性，等论文源码放出再细致研究。

参考文献：

[1] Zhu M, Pan P, Chen W, et al. EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network[J].

[2] Chen C, Chen Q, Xu J, et al. Learning to see in the dark[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 3291-3300.