Abandoning the Bayer-Filter to See in the Dark

摘要：微光图像增强是一个普遍但具有挑战性的问题，在提高在较差照明环境中拍摄的图像的可见性方面发挥着核心作用。由于并非所有光子都能通过彩色相机传感器上的拜耳滤波器，在这项工作中，我们首先提出了一种基于深度神经网络的德拜耳滤波器模拟器，从彩色原始图像中生成单色原始图像。接下来，提出了一种全卷积网络，通过将彩色原始数据与合成单色数据融合来实现微光图像增强。在融合过程中也引入了通道关注，以在彩色和单色原始图像的特征之间建立互补的相互作用。为了训练卷积网络，我们提出了一个具有单色和彩色原始对的数据集，称为单色原始配对数据集（MCR），该数据集是通过使用不带拜耳滤波器的单色相机和带有拜耳滤波器的彩色相机收集的。所提出的流水线利用了虚拟单色和彩色原始图像的融合优势，我们的大量实验表明，通过利用原始传感器数据和数据驱动的学习可以实现显著的改进。

1. Introduction

对于数字化图像，在室内、夜间或不适当的相机曝光参数等较差的照明条件下，由于颜色失真和噪声，图像的质量可能会严重降低。在弱光环境中，通常利用长曝光时间和高ISO（感光度）来保持视觉质量。然而，压倒性的曝光会导致运动模糊和不平衡的过度曝光并且放大噪音。尽管相机的闪光灯为不足的光线提供了曝光补偿，但它不适合长距离拍摄，而且还会带来颜色失真和伪影。另一方面，已经报道了各种算法来增强弱光图像。最近，深度神经网络模型已被用于解决弱光图像恢复问题，如DeepISP[22]和黑暗中的视觉（SID）[3]。

然而，这些算法在图像处理管道中受到限制，因为光子捕获率和量子效率通常被忽视。一般来说，高光子捕获率可以显著提高图像的视觉质量。其中一个典型的例子是基于RYYB的滤色器，它可以比基于拜耳RGGB的滤色器1多捕获40%的光子。因此，基于RYYB的滤色器可以自然地获得更好的性能。

拆除贝尔滤镜是另一种提高光子捕获率的可行方法。贝尔滤镜是覆盖图像传感器的许多微小彩色滤镜阵列，用于呈现彩色信息（见图1）。

通过去除拜耳滤波器并牺牲颜色信息，图像传感器可以捕获更多的光子，与具有拜耳滤波器的相机相比，这有助于在较差的照明条件下获得更清晰的可见性（见图2（a））。另一方面，双摄像头是当今智能手机等智能设备的趋势之一。一种类型的双摄像头组是单色传感器和彩色传感器的组合2。单色传感器通常与彩色传感器相同，但没有拜耳阵列滤波器。由于传感器接收到更多的光子，这样的双相机设置可以在低光环境中实现更好的成像质量。然而，额外配备的摄像头需要额外的成本。因此，对于大多数只配备彩色摄像头的手机来说，在只使用单色摄像头的情况下，保持双摄像头组产生的低光图像质量是一项具有挑战性的任务。 

受上述讨论的启发，我们提出了一个完全端到端的卷积神经模型，该模型由两个模块组成（如图1所示）：德拜滤波器（DBF）模块和双分支微光增强模块（DBLE）。DBF模块学习从彩色相机原始数据恢复单色原始图像，而不需要单色相机。DBLE被设计为将彩色原始数据与合成的单色原始数据融合，并生成增强的RGB图像。

此外，我们提出了一个数据集来训练我们的端到端框架。据我们所知，没有一个现有的数据集包含由相同类型的传感器捕获的单色和彩色原始图像对。为了建立这样的数据集，使用一台带有拜耳滤波器的相机来捕捉彩色图案化的原始图像。另一台没有拜耳滤波器但配备了相同类型传感器的相机用于捕捉单色原始图像（见图2（b））。数据集是在各种场景下收集的，每个彩色原始图像都有一个对应的单色原始图像，该图像是用相同的曝光设置拍摄的。

我们的贡献可以概括为：

提出了一种De Bayer滤波器模型来模拟虚拟单色相机，并从彩色原始输入中合成单色原始图像数据。DBF模块旨在预测单色原始图像，这类似于单色传感器的能力。据我们所知，我们是第一个探索使用基于深度学习的模型去除拜耳滤波器的人。

我们设计了一个双分支微光增强模型，用于色r将彩色原始图像与合成的单色原始图像融合，以生成最终的监视器就绪RGB图像。弥合在彩aw和单色raw之间领域差距，采用了通道关注层来建立两个域之间的交互，以获得更好的恢复性能。实验结果表明，可以实现最先进的性能。

我们提出了MCR，这是一个彩色原始图像和单色原始图像对的数据集，使用相同的曝光设置拍摄。它作为一种研究材料公开开放，以方便社区使用，并将在出版后发布。

2. Related work

为了实现微光图像增强任务，人们已经尝试了大量的方法。这些方法可分为直方图均衡（HE）方法[1，15，29]、Retinex方法[5，26，28，33]、去雾模型方法[4]、统计方法[16，17，23]和机器学习方法[7，11，30，34]。最近，已经提出了一些关于原始图像数据的工作[3，9，22]。我们的工作也属于这一类；在本节中，我们将主要讨论基于原始方法的现有方法。

深度神经网络成为实现数码相机图像信号处理任务的一种新兴方法。2018年，[22]中提出了一种全卷积模型，即DeepISP，用于学习从原始微光马赛克图像到最终RGB图像的映射，该图像具有高视觉质量。为了模拟数码相机的图像信号处理（ISP）管道，deepISP首先提取低级别特征并进行局部修改，然后提取高级别特征并执行全局校正。L1范数和Lab域中的多尺度结构相似性指数（MS-SSIM）损失用于训练deepISP来模拟ISP管道。当DeepISP仅用于低级别成像任务（如去噪和去马赛克）时，将利用L2损耗。因此，DeepISP既可以实现低级任务，也可以实现高级任务，如去马赛克、去噪和颜色校正。[22]中的结果表明，与制造商ISP相比，性能优越。

......

3. The method

受上述讨论的启发，并受到单色相机高感光度的启发，我们提出了一种新的管道，以进一步推动基于原始的方法向前发展。具体来说，我们的管道采用拜耳滤波器作为输入的彩色相机拍摄的原始图像。我们管道中的De Bayer滤波器模块将首先生成单色图像，然后双分支微光增强模块将单色原始数据和彩色原始数据融合，生成最终增强的RGB图像。这两个模块都处理原始图像，因为原始图像线性地取决于接收到的光子数量，与RGB图像相比，光子数量包含额外的信息，如噪声分布[2,20]。每个模块的细节将在后面讨论。我们的框架的详细架构图如图3（A）所示（更多细节在补充中）。此外，图3（b-f）和图3（g-k）分别在[3]中的数据集和SID数据集上可视化了我们模型的每个步骤的输出

（a） 是管道的体系结构。DBF模块设计用于从输入的原始图像中生成单色图像。DBLE模块被提出用于融合彩色和单色原始图像，以增强低光输入图像。每个框表示由每个层生成的多通道特征图。（b） -（f）是在我们的数据集上训练的管道的图像。（g） -（k）是在SID[3]数据集上训练的管道的图像，我们将SID数据集中的RGB地面实况（GT）转换为灰色图像，以取代我们数据集中的单色GT。

3.1. De-Bayer-Filter module

......

3.2. Dual branch low-light image enhancement
module

......

3.3. Dataset design

Mono-colored raw Paired dataset (MCR). 据我们所知，没有一个现有的数据集包含由相同类型的传感器捕获的单色和拜耳原始图像对。为了建立数据集，我们用两个相机捕捉相同场景的图像对，分别表示为Cam Color和Cam-Mono3。两台相机都具有相同的1/2英寸CMOS传感器，并输出1280H x 1024V的成像像素阵列。但是，只有Cam Color配备了拜耳滤色器。Cam Color在我们的工作中用于捕获彩色原始图像，Cam Mono捕获单色原始图像。

......

Artificial Mono-colored raw SID dataset. [3]中收集的原始SID数据集包含5094张从室内和室外环境中拍摄的原始短曝光图像，而每个短曝光图像都有相应的长曝光参考图像。短曝光时间通常在1/30秒到1/10秒之间，对应的长曝光图像的曝光时间为10到30秒.但是，单色图像在原始SID数据集中不可用。为了解决这一问题，我们在本工作中基于SID[3]数据集构建了一个人工单色原始数据集。更具体地说，我们首先将原始SID数据集中的长曝光原始图像转换为RGB图像，并通过形成R、G和B通道的加权和将这些RGB图像进一步转换为灰度，如图3（h）所示。这样的转换可以消除色调和饱和度信息，同时保留亮度信息。

3.4. Training

默认情况下，我们与[3]类似地预处理输入图像，其中图像的像素值以预定义的比率放大，然后进行打包原始操作。我们结合了CA层[8]，以弥合单色和彩色原始图像特征之间的领域差距。整个系统在L1损失的情况下进行联合训练，以直接输出相应的长曝光单色和sRGB图像。

数据集按9:1的比例划分为训练集和测试集，不重叠。输入的补丁是从512×512的原始图像中随机裁剪出来的。在原始图像输入的情况下，RGGB像素位置在裁剪过程中被小心地保留。我们在RTX 3090 GPU平台上使用Pytorch 1.7实现了我们的模型，并使用Adam[12]优化器从头开始训练网络。收敛后，学习率设置为10−4和10−5，权重衰减设置为0。

4. Experiments and results

在本节中，我们对所提出的微光图像增强系统进行了全面的性能评估。为了测量性能，我们根据峰值信噪比（PSNR）和结构相似性（SSIM）来评估系统性能。对于PSNR和SSIM，值越高意味着输出图像和地面实况之间的相似性越好。

4.1. Comparison with State-of-the-Arts

定性比较。我们首先将所提出的方法的结果与其他最先进的基于深度学习的图像增强方法进行视觉比较，包括SID[3]、DID[18]、SGN[6]、LDC[31]和RED[14]。此外，传统的直方图均衡（HE）方法和商业软件自动图像增强（CSAIE）方法也被包括在所比较的方法中。图4显示了不同方法对两张微光图像的结果（更多结果见补充）。

.....

4.2. Ablation study

在本小节中，我们为所提出的系统提供了几项消融研究，以更好地证明我们系统的每个模块的有效性。棋盘人工制品是在我们的初步探索阶段发现的，尤其是对于白色背景的图像。为了消除棋盘假象，我们在DBLE模块中加入了CA层[8]。在这项消融研究中，我们首先去除DBLE模块中的CA层，以演示棋盘伪影的消除和性能升级。此外，我们还在数据集上训练了一个原始的SID[3]网络，以显示U-net棋盘伪影的视觉效果。SID、DBLE w/o CA层和DBLE with CA层的恢复图像如图5所示。可以观察到，通过引入CA层可以完全避免棋盘伪影。此外，如表3所示的定量结果，当PSNR与对应的29.23dB相比增加到31.69dB时，CA层可以提高图像增强性能。

我们还训练模型直接学习比率，而不是用预定义的比率放大图像像素值。因此，我们训练模型而不以预定义的比率放大输入的原始图像。结果，如表3所示，这样的模型仍然可以实现可比较的性能，仅PSNR和SSIM略有下降。

如[3]所建议的，我们将基于分组的输入更改为原始的单通道原始图像。如表3中未分组的基线行所示，观察到PSNR和SSIM退化。我们认为，原始的包装可以帮助模型更好地处理颜色信息。

如表3所示，损失函数从L1变为L2并不能获得更好的性能。我们还尝试将原始输入更改为sRGB格式。表3中sRGB行的结果显示了显著的性能下降。DBF模块在我们的系统中在生成单色图像方面发挥着关键作用，这有助于DBLE模块将微光图像恢复为监视器就绪的sRGB图像。我们还探讨了没有DBF模块和单色分支的模型的性能。如表3中的结果所示，当去除DBF模块时，就PSNR/SSIM而言，性能下降到29.99dB/0.883，从而对DBF的有效性进行了可靠的验证。