【论文精读】LLNet: A Deep Autoencoder approach to Natural Low-light Image Enhancement

摘要

本文提出了一种基于深度自动编码器的方法来识别弱光图像中的信号特征，并在不过度放大/饱和高动态范围图像的较亮部分的情况下自适应地使图像变亮。在监视、监视和战术侦察中，从动态环境中收集视觉信息并对其进行准确处理对于做出明智的决策和确保任务的成功至关重要。相机传感器在拍摄光线不佳的环境中拍摄的清晰图像或视频时往往成本有限。许多应用的目标是以机载实时方式增强图像的亮度、对比度和降低噪声含量。我们表明，堆叠稀疏去噪自动编码器的一种变体可以从合成暗化和添加噪声的训练样本中学习自适应增强和去噪。该模型可以应用于从自然弱光环境中获取的图像和/或硬件降级的图像。结果表明，无论在视觉上还是通过与各种图像增强技术的定量比较，该方法都具有显著的可靠性。

贡献

1、提出了一种利用类深度神经网络——堆叠式稀疏去噪自动编码器（SSDA）增强自然微光图像的方法；
2、提出了一种通过综合修改该网络数据库中的图像来模拟弱光环境的训练数据生成方法；
3、探索两种深层结构：
1）同时学习对比度增强和去噪；
2）顺序学习对比度增强和去噪。

网络结构（LLNet）

从微光中学习特征

SSD

SSD是深度自动编码器的稀疏诱导变体，确保以无监督的方式学习嵌入到数据集的适当维度空间中的不变特征。早期的支持者(Vincent等人，2008年)已经表明，通过以贪婪的分层方式堆叠几个去噪自动编码器(DA)进行预训练，网络能够在误差反向传播期间找到更好的参数空间。

LLNet

LLNet框架的灵感来源于SSDA，它的稀疏诱导特性有助于学习特征来对信号进行去噪。我们利用SSDA的去噪能力和深度网络的复杂建模能力来学习微光图像中潜在的特征，以最小的噪声和改善的对比度产生增强的图像。关键方面是使用从互联网数据库获得的图像来训练网络，这些图像随后被综合处理(即，非线性变暗并添加高斯噪声)以模拟弱光条件，因为收集大量自然弱光图像(足以进行深度网络训练)及其照明良好的对应物可能是不切实际的。在我们的实验中，我们使用合成图像和自然图像来评估网络的去噪和对比度增强性能。

S-LLNet

除了用暗化图像和噪声图像对网络进行训练的常规LLNet外，我们还提出了分段LLNet(S-LLNet)，它包含用于对比度增强(阶段1)和去噪(阶段2)的独立模块。与常规LLNet的关键区别在于，模块分别使用仅限暗的训练集和仅限噪声的训练集进行训练。这两种结构都如图1所示。虽然S-LLNet体系结构提供了更大的训练灵活性，但它略微增加了推理时间，这可能是某些实时应用程序的一个问题。然而，定制硬件加速可以显著解决这些问题。

网络参数

LLNet由3个DA层组成，第一个DA层的输入尺寸为17×17像素(即289个输入单元)。第一个DA层有867个隐藏单元，第二层有578个隐藏单元，第三层有289个隐藏单元，成为瓶颈层。第三DA层以上形成了前三层的解码对应物，因此分别具有用于第四层和第五层的578个和867个隐藏单元。输出尺寸与输入尺寸相同，即289。对网络进行30个时段的预训练，前两个DA层的预训练学习率为0.1，最后一个DA层的预训练学习率为0.01，而前200个精调时段的学习率为0.1，之后为0.01，只有在验证误差的改善小于0.5%时才停止。对于S-LLNet，每个模块的参数是相同的。