【低光图像增强】Learning to See in the Dark

高ISO会造成The image suffers from noise and color bias.

Abstract

低光图像增强面临的问题：低光图像光子数低；低光图像的信噪比低；短曝光图像噪声多，长曝光图像会比较模糊，不真实。

针对这些问题：提出了一个短曝光低光raw图像数据集，对应长曝光的参考图像；使用这个数据集提出了一个低光图像处理全卷积网络，输入是raw图像，省去了传统的isp流程。

Introduction

本文提出了一种新的图像处理技术：通过一种数据驱动的方法来解决极端低光条件下快速成像系统的挑战。具体来说，我们训练深度神经网络来学习低光照条件下原始数据的图像处理技术，包括颜色转换，去马赛克，降噪和图像增强等。

据我们所知，现有用于处理低光图像的方法，在合成数据或真实的低光图像上测试都缺乏事实根据。此外，用于处理不同真实环境下的低光图像数据集也相当匮乏。因此，我们收集了一个在低光条件下快速曝光的原始图像数据集。每个低光图像都有对应的长曝光时间的高质量图像用于参考。

Related Work

Image denoising

Low-light image enhancement

Noisy image datasets

See-in-the-Dark Dataset

See-in-the-Dark (SID) 数据集包含5094张短曝光的raw图像，每张对应相应的长曝光参考图像。多个短曝光图像序列对应相同的长曝光参考图像，多个短曝光图像序列中的图像会有细微的不同，序列中的每张图像都可视为一张独特的低光图像，这样包含真实世界伪像的图片能够更有利于模型的训练和测试。SID 数据集中长曝光的参考图像的数量是424。差不多10多张短曝光图像对应一张长曝光参考图像。

此外，我们的数据集包含了室内和室外图像。室外图像通常是在月光或街道照明条件下拍摄。在室外场景下，相机的亮度一般在0.2 lux 和5 lux 之间。室内图像通常更暗。在室内场景中的相机亮度一般在0.03 lux 和0.3 lux 之间。输入图像的曝光时间设置为1/30和1/10秒。相应的参考图像 (真实图像) 的曝光时间通常会延长100到300倍：即10至30秒。各数据集的具体情况如下表1中所示。

用了两个相机采集数据，每个相机都有不同的sensor，图像由不同的阵列构成（Bayer、X-Trans）。在测试的时候也支持不同阵列的图像进行测试。图像分辨率分别为$4240\times 2832$（Sony）、$6000\times 4000$（Fuji）。