【论文阅读】LIME：Low-light Image Enhancement via Illumination Map Estimation(笔记最全篇）

今天要整理的一篇论文是使用传统的方法解决低照度的问题，Guo等人于2016年发表在IEEE上，论文《LIME：Low-light Image Enhancement via Illumination Map Estimation》，DOI：10.1109/TIP.2016.2639450

Abstract

在低照度环境下拍摄的图像通常能见度都很低，这些图像除了在视觉效果上降低了美感以外，还让计算机视觉的显示效果降质了。为了解决这个问题，本文提出了一种简单有效的低照度图像增强算法（Low-light Image Enhancement，LIME）。具体来说，输入一张低照度图像，选取每个像素通道中的最大值初始化该图像光照图，然后通过强加入一种结构先验来细化这个初始光照图，最后根据Retinex理论合成增强图。实验表明，该算法较之前的方法在质量和性能上都取得不错的效果。

Introduction

能见度高的图像能反映出场景中清晰的细节，这对于一些采用视觉技术的工作有很大的影响，如物体检测和追踪等。但是，在低照度的环境下捕获的图像通常是低能见度，虽然目前有很多算法能提升图像亮度，但是过度提亮会有损图像的效果。直接放大低照度图像可能是调节暗区可见性最直观和最简单的方法，但此操作也会带来另一个问题，比如相对较亮的区域可能已经饱和，因此丢失了相应的细节。

直方图均衡化（HE） 策略是一种将原图像通过某种变换，得到一幅灰度直方图为均匀分布的新图像的方法，可以避免上面的问题。它的基本思想是对在图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减（将像素灰度级范围规定在0-1），从而达到清晰图像的目的。直方图均衡化的核心是变换函数，而常用的变换函数有线性变换、分段线性变换、伽马校正，对数变换、幂变换等。在文中主要指出伽马校正的缺点：仅对每个像素进行操作，忽略了像素之间的相邻关系。

Retinex理论的理论依据依赖一个核心假设：（彩色）图像可以被分解成入射分量（光照）和反射分量两个主要成分，表达式如下：
$$\begin{array}{r}I=T\cdot R\end{array}\text{\hspace{1em}(1)}$$
其中$I$是原始低照度图，T是入射分量即光照，R是反射分量。最早基于Retinex理论的研究有SSR、MSR：它们都是把反射分量作为最后的增强结果，因此，只需要求解出入射分量即可。但是这样的处理方式，得到的结果通常是不自然的，且容易过度增强。往后的研究就偏向于优化入射分量，使其更自然，有通过融合多张图像来调整光照图，也有通过划分子块优化光照图等。最后来，研究的方向就偏向于加入权重模型，同时优化光照图和反射分量。

到这里，值得一提的方法是：Dong发现了反转低照度图像跟有雾图像的特征相似，因此提出了反转图像（作为伪雾图）应用去雾算法，同样能得到增强亮度的效果，这就将低照度增强领域扩展至图像去雾领域中去了，去雾算法可用在低照度增强中去。（对这个算法感兴趣的同学，可以去下载文章看看，这里提供论文DOI：10.1145/1836845.1836920）

（图）伪雾图与有雾图像

Contribution

本文提出的算法也是基于Retinex理论的，算法主要倾向于估计低照度图像的光照图来实现增强。这里值得注意的是，本文的算法跟以往的基于Retinex增强方法（直接将图像分解成L和R）不同，我们的算法是仅仅估计一种一个变量（光照），这大大地缩小解空间和减少计算量。本文的主要贡献是：

1. 提出了两种加速优化光照图的算法：增广拉格朗日乘数法（ALM）和权重策略。
2. 进行了大量的对比实验。

个人观点： 该文章最大的贡献其实是提出的第一种加速优化方法，他主要将优化光照的问题嵌入到最优化问题中，考虑图像的保真和结构性，自定义了一个优化的目标函数和相应的约束条件，然后采用传统的拉格朗日乘数法来解决这个优化问题。

Method

根据Retinex理论可知，我们理想的图像是R（入射分量）可以通过估计出光照图T和原始的低照度$I$得到：
$$\begin{array}{r}R=\frac{I}{T}\end{array}$$
为了简化计算，通常认为三通道（彩色）图像都是共享同一个光照图。首先初始化光照图$T$：
T c ( x ) = max ⁡ c ∈ { R , G , B } I c ( x ) (2) \begin{aligned}T^c(x)=\max_{c\in\{R,G,B\}}I^c(x) \tag2\end{aligned} Tc(x)=c∈{ R,G,B}max​Ic(x)​(2)
要保证这个的光照图不会使得增强的图像过于饱和，我们加入了一个非常小的参数$ϵ$来限制：
$$\begin{array}{r}R(x)=\frac{I(x)}{T(x)+ϵ}\end{array}\text{\hspace{1em}(3)}$$
$ϵ$是一个非常小的常量，主要是为了避免出现除零和R过度饱和的情况。文章明确地指出这项工作的目标是：非均匀地增强弱光图像的照明，而不是消除光源引起的色移。

在文中，作者还特意与Dong提出的反转图像去雾增强算法作对比。我觉得这里的工作整理得挺好的，这里帮助我更好地理解了基于大气物理散射模型的去雾算法和基于Retinex理论增强算法之间能融合及相似的地方。所以，我在整理这篇文章的笔记的时候，还是决定把这部分写上。

Dong使用反转低照度图像$(1-I)$作为伪雾图，使用大气散射模型（4）来实现增强：
$$\begin{array}{r}1-I=(1-R)\cdot T+\alpha (1-T)\end{array}\text{\hspace{1em}(4)}$$
在大气物理模型（4）理论中，T代表透射率，需要估计的，$\alpha$代表大气光强，是一个确定的常量。而（1-I）代表伪雾图，（1-R）代表去雾后的图像，即增强的图像。

式子（4）和（1）进行对比，其实有一定的相似性，它们之间存在一种关系。这需要引入著名的何凯明博士提出的暗通道先验理论(Dark Channel Prior，DCP)，即$I^{dark}={\min }_c{I}^c$，清晰无雾图的暗通道为0，使用暗通道先验理论来估计透射率，有：

$$\begin{array}{r}{T}^{\prime }(x)\leftarrow 1-\underset{c}{\min }\frac{1-I^c(x)}{\alpha }=1-\frac{1}{\alpha }+\underset{c}{\max }\frac{I^c(x)}{\alpha }\end{array}\text{\hspace{1em}(5)}$$
把（5）代入到（4）中，得到：
$$\begin{array}{r}R(x)=\frac{I(x)-1+\alpha }{(1-\frac{1}{\alpha }+{\max }_c\frac{I^c(x)}{\alpha }+ϵ)}+(1-\alpha )\end{array}\text{\hspace{1em}(6)}$$
当$\alpha =1$时，我们可以看到，(3)和(6)的结果是一样的；但是当$\alpha$远离1，模型(3)和(6)的等价关系就不存在了。

这个图展示了(3)和(6)两个模型的结果，虽然将大气光强设置成0.95，两个模型的效果仍然是非常明显的。本文主要是使用（3）的方式来获取增强图。经（2）获得初始化的光照图，然后使用两种不同的方法优化光照图，下面开始介绍文中的两种加速算法。

Speed-up Method(1)：ALM

ALM加速法，是将优化光照的问题归纳为最优化问题中，考虑图像的保真度和结构平滑度，自定义了一个优化的目标函数，使用F范数和L1正则分别衡量图像的保真度和结构平滑度：
$$\begin{array}{r}\underset{T}{\min }||T^{\prime }-T|{|}_F^2+k||W\cdot ▽T|{|}_1\end{array}\text{\hspace{1em}(7)}$$

这里的k是平衡F范数和L1正则的系数。(7)式的前项为F范数，考虑的是细化后的光照图L‘与初始化的光照图L之间的保真度，后项为L1正则，考虑的是平滑度，W为权重矩阵，$▽T$代表一阶导数滤波器，包括水平和垂直方向的。

传统上，可以通过交替方向乘子算法（ADMM）就能有效地解决问题（8）。 但从（8）中的目标可以看出，两个约束项都涉及T。这里引入了一个辅助变量G来代替$▽T$，以使问题可分离并因此易于解决。把$G=▽T$作为一项等式约束条件，最后我们的优化问题就等价于：
$$\begin{array}{r}\underset{T,G}{\min }\end{array}$$