一帧图像最多有几种不同颜色_总结 | 基于深度学习的低光照图像增强方法

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

作者：KunH

https://zhuanlan.zhihu.com/p/78297097

本文已由作者授权，未经允许，不得二次转载

之前在做光照对于高层视觉任务的影响的相关工作，看了不少基于深度学习的低光照增强(low-light enhancement)的文章[3,4,5,7,8,9,10]，于是决定简单梳理一下。

光照估计(illumination estimation)和低光照增强(low-light enhancement)的区别：光照估计是一个专门的底层视觉任务(例如[1,2,6])，它的输出结果可以被用到其它任务中，例如图像增强、图像恢复(处理色差，白平衡)。而低光照增强是针对照明不足的图像存在的低亮度、低对比度、噪声、伪影等问题进行处理，提升视觉质量。值得一提的是，低光照增强方法有两种常见的模式，一种是直接end-to-end训练，另一种则包含了光照估计。

LLNet: A deep autoencoder approach to natural low-light image enhancement

2017 Pattern Recognition

这篇文章应该是比较早的用深度学习方法完成低光照增强任务的文章，它证明了基于合成数据训练的堆叠稀疏去噪自编码器能够对的低光照有噪声图像进行增强和去噪。模型训练基于图像块(patch)，采用sparsity regularized reconstruction loss作为损失函数。

主要贡献如下：

(1)我们提出了一种训练数据生成方法(即伽马校正和添加高斯噪声)来模拟低光环境。

(2)探索了两种类型的网络结构：(a) LLNet,同时学习对比度增强和去噪；(b) S-LLNet,使用两个模块分阶段执行对比度增强和去噪。

(3)在真实拍摄到的低光照图像上进行了实验，证明了用合成数据训练的模型的有效性。

(4)可视化了网络权值，提供了关于学习到的特征的insights。

MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

2017 arXiv

这篇文章引入了CNN，它提了一个有趣的观点，传统的multi-scale Retinex(MSR)方法可以看作是有着不同高斯卷积核的前馈卷积神经网络，并进行了详细论证。

接着，仿照MSR的流程，他们提出了MSR-net，直接学习暗图像到亮图像的端到端映射。MSR-net包括三个模块：多尺度对数变换->卷积差分->颜色恢复，上面的结构图画得非常清楚了。

训练数据采用的是用PS调整过的高质量图像和对应的合成低光照图像(随机减少亮度、对比度，伽马校正)。损失函数为带正则项的误差矩阵的F-范数平方，即误差平方和。

Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images