配对数据集
2013 年
- Vonikakis 等人 建立了一个数据集,其中包括在 15 个场景中拍摄的 225 张图像。每个场景包含 15 张图像:9 张在不同强度的均匀照明下拍摄的图像,6 张在不同程度的非均匀照明下拍摄的图像。
2017 年
- Lore 等人 基于 169 张标准图像使用随机伽马变换和高斯噪声合成了 422,500 个块。
- Shen 等人 使用来自 UCID(Schaefer 和 Stich 2004)、BSD(Martin 等人 2001)以及通过谷歌搜索引擎收集的网络图像的自然图像合成了 10,000 个低光和正常光图像对,并分别使用 8000 张和 2000 张图像进行训练和测试。
2018 年
- Chen 等人 引入了 See-in-the-Dark (SID) 数据集,其中包括 5094 张短曝光低光原始图像和相应的长曝光参考原始图像。
- Cai 等人 建立了 SICE 数据集,包括低/高对比度和正常对比度编码图像对。其中,参考正常对比度图像由 589 个图像序列和 4413 张不同曝光的高分辨率图像通过多曝光图像融合 (MEF) 或高动态范围 (HDR) 算法生成。
多曝光图像融合 (MEF) 和 高动态范围 (HDR) 算法:这两种技术用于从不同曝光的图像中生成高质量的正常对比度图像。MEF 是将多张不同曝光的图像融合成一张高质量图像的技术,而 HDR 则是处理高动态范围图像的技术,能够更好地保留图像中的细节。
- Wei et al. (2018) 的低光 (LOL) 数据集包括 500 张捕获的配对图像(485 对用于训练,另外 15 对用于评估)和 1000 张用于训练的合成图像。
2019 年
- Wang 等人 提出了深度欠曝光照片增强 (DeepUPE) 数据集,包含 3000 张欠曝光照片(训练和测试分别使用 2750/250),涵盖了不同的光照条件。85% 的图像是使用佳能 EOS 5D Mark III 和索尼 ILCE-7 以 6000、4000 分辨率拍摄的,而大约 15% 的图像是从 Flickr 收集的。
- Jiang and Zheng 提出了 Dark Raw Video (DRV) 数据集,包括 202 个静态视频,在不同光照条件下的室内和室外场景中拍摄。捕获的视频的光照范围在 0.5 到 5 勒克斯范围内,长曝光帧和短曝光帧对齐良好。
- Chen 等人 发布了 Seeing Moving Object in the Dark (SMOID) 数据集,包括 179 个街景视频对,涵盖不同曝光水平下的移动车辆和行人。通过去马赛克程序生成曝光良好的视频以获得真实视频。
非配对数据集
- VV 数据集 包含 24 幅图像,其中一部分曝光正常,另一些部分严重曝光不足/过度,为低光增强提供了最具挑战性的案例。
- LIME(Guo et al. 2017) 包含 10 幅低光图像。
- NPE(Wang et al. 2013a) 包含从互联网下载的 85 幅低光图像,这些图像是在 8 个户外自然场景中拍摄的。
- DICM(Lee et al. 2013a) 包含 69 张从商用数码相机拍摄的图像。
- MEF(Ma et al. 2015) 包含 17 个高质量图像序列,包括自然场景、室内和室外景观以及人造建筑。
“高质量图像序列”指的是由同一场景在不同曝光水平下拍摄的一系列高分辨率图像。这些图像通常具有良好的清晰度、颜色保真度和动态范围,能够在不同的光照条件下准确捕捉到场景的细节。这样的图像序列主要用于多曝光图像融合(MEF)的研究与开发,通过将多个不同曝光级别的图像合并为一张图像,以获得更高的动态范围和更丰富的细节表现,从而生成视觉效果更好的图片。
- Exclusively Dark(Loh and Chan. 2019) 开发了 Exclusively Dark 数据集,其中包括 7363 张从极低光环境到黄昏(即 10 种不同条件)的低光图像,使用图像级类别和局部对象边界框注释了 12 个对象类。
- KAIST(Hwang et al. 2015) 包含用于行人检测的各种夜间交通序列。这些工作旨在满足机器视觉的需求,即提高高级视觉任务的性能。
其他尝试和评估标准
在相关图像处理任务中,也有针对多种目的的重要尝试,例如去雾(Li 等人,2019)、无约束条件(Nada 等人,2018)等。之前的低光照增强指标,包括全参考和无参考指标,在表 2 中进行了总结。
无约束条件(Unconstrained Conditions)
含义:指的是在不受控制或者自然环境下的成像条件,这些条件可能包括但不限于光照变化、天气状况(如雾、雨)、拍摄角度、遮挡物等。在这样的条件下进行图像处理任务时,算法需要能够适应各种复杂的现实世界情况。
应用实例:Nada 等人(2018)的研究可能专注于如何在不加限制的环境中提升图像质量,例如开发能够在不同光照条件或复杂天气条件下仍能有效工作的去雾算法。
全参考指标(Full-Reference Metrics)
含义:这类指标用于评估处理后的图像与原始高质量图像之间的相似度。它们通常依赖于对原始图像(即未经任何降质处理的理想图像)的完整访问,通过比较两者的差异来衡量处理效果的好坏。
常见指标:峰值信噪比(PSNR)、结构相似性指数(SSIM)等都属于全参考指标。这些指标主要用于实验室环境下,当有原始图像作为参照时使用。
无参考指标(No-Reference Metrics)
含义:与全参考指标相反,无参考指标不需要原始图像作为对比基准,而是直接基于处理后的图像本身的质量特征来进行评估。这种类型的指标对于实际应用场景尤其重要,因为在很多情况下获取原始高质量图像并不现实。
应用背景:在低光照增强等场景中,往往没有理想的原始图像可供参考,因此需要使用无参考指标来评价处理结果的质量。这类指标试图量化图像中的噪声水平、清晰度、色彩饱和度等因素。
评价指标
低光照增强指标,包括全参考和无参考指标,在表2中进行了总结。
如Li等人(2019)所指出的,基于全参考信号和结构保真度驱动的PSNR和SSIM指标不足以评估一系列图像处理任务(例如去雾和低光照增强)的视觉质量,因为它们与人类视觉感知存在不一致。因此,基于我们在表2中对之前指标的回顾,我们额外选择了两种全参考指标,VIF和角度误差,来测量增强结果的信息保真度和颜色失真。此外,我们采用了几种无参考的图像质量评估(IQA)指标(即LOE(Wang等人 2013a)、NIQE(Mittal等人 2013)、BRISQUE(Mittal等人 2012)、ENIQA(Chen等人 2018)、IL-NIQE(Zhang等人 2015)、HOSA(Xu等人 2016)、SSEQ(Liu等人 2014)和BLIINDS-II(Saad等人 2011)),以测量亮度失真、空间域统计和自然性保持。