基于Retinex模型的弱光图像联合去噪与增强(序列分解)

一、文章摘要概述

文章的题目是：
《Joint Enhancement and Denoising Method via Sequential Decomposition》
  这是一篇2018年北大-刘家瑛团队一篇会议文章。基于Retinex模型，同样是针对分解后照明图对比度、细节增强和反射图存在的密集噪声问题，在上一篇博客中介绍了一种全变差优化模型，通过ADM依次迭代更新照明图和反射图得到最优解即为增强图像，但是考虑到原始图像$I$通过通道最大值得到的初始照明图$L$基本上是光滑的，而密集噪声几乎都留在了反射图$R$中，所以使用ADM轮流更新$L$和$R$时，会对照明图$L$带来噪声并对细节信息造成破坏。基于此，文章提出一种序列评估模型，分别估计$L$和$R$，最后将评估后反射图$\hat{R}$和伽马矫正照明图$\hat{L}$合并得到增强图像。

二、序列分解模型

序列评估整体框架图：

分别评估照明图$L$和反射图$R$的序列方程为：
$$\underset{L}{\mathrm{argmin}}{\Vert L-\hat{L}\Vert }_F^2+\alpha {\Vert ▽L\Vert }_1$$$$\underset{R}{\mathrm{argmin}}{\Vert R-S/L\Vert }_F^2+\beta {\Vert W\circ ▽R\Vert }_F^2+\omega {\Vert ▽R-G\Vert }_F^2$$上式中，$\alpha$、$\beta$、$\omega$为系数表示每一项的重要程度，${\Vert \cdot \Vert }_F$和${\Vert \cdot \Vert }_1$分别表示F-norm和1-norm，$▽$表示一阶微分算子，$\circ$和$/$分别表示点乘和点除操作，$W$是原图$S$的权重矩阵，$G$是原图$S$的调整梯度。
以上各项分别代表：

• ${\Vert L-\hat{L}\Vert }_F^2$：初始照明图$L$和照明估计$\hat{L}$之间的保真度。
• ${\Vert ▽L\Vert }_1$：照明图局部平滑度。
• ${\Vert R-S/L\Vert }_F^2$：初始反射图$S/L$和反射图估计$R$的保真度。
• ${\Vert W\circ ▽R\Vert }_F^2$：调节反射估计$R$的空间平滑度。
• ${\Vert ▽R-G\Vert }_F^2$：反射估计$R$和原图$S$的距离约束，调节全局对比度。

假设三通道共享照明图或者假设三通道具有相同的反射率。在YUV颜色空间中，设置$Y$通道作为初始照明估计$\hat{L}$。
考虑到权重矩阵的区域平滑性，$W$公式为：
$$W=\frac{1}{\left|▽S+ϵ\right|}$$同上篇博客，$G$是输入图$S$的调整梯度：$G=K\circ ▽\hat{S}$
其中：$$\{\begin{array}{cc}K=(1+\lambda e^{-|▽\hat{S}|/\sigma }),& \\ ▽\hat{S}=\{\begin{array}{cc}0& if\left|▽S\right|<\epsilon \\ ▽S& otherwise\end{array}& \end{array}$$调整梯度$G$具有自适应性，能够根据噪声强度分布有效抑制密集噪声，确保全局梯度均匀分布。
考虑到序列分解过程中照明估计$\hat{L}$和反射估计$R$的无关性，所以对于一幅图像，矩阵$W$和$G$只计算一次。下面我们看看文章是怎么求解序列方程的。

Step 1：对于照明估计
由于1-norm难以求解，文章借用LIME中极限求和的方式来近似估计${\Vert ▽L\Vert }_1$，在LIME中基于等式：
$$\underset{ϵ\to 0^{+}}{\lim }\sum _x\sum _{d\in h,v}\frac{{\mathbf{W}}_d(x)({▽}_d\mathbf{A}(x){)}^2}{\left|({▽}_d\mathbf{A}(x)\right|+ϵ}={\Vert \mathbf{W}\circ ▽\mathbf{A}\Vert }_1$$成立，替换$W$和$A$图像矩阵，在本文中可以近似替代${\Vert ▽L\Vert }_1$得到：
$$\sum _x\sum _{d\in h,v}\frac{({▽}_{d}L(x){)}^2}{\left|({▽}_d\hat{L}(x)\right|+ϵ}\leftarrow {\Vert ▽L\Vert }_1$$序列方程可写为：
$$\underset{L}{\mathrm{argmin}}{\Vert L-\hat{L}\Vert }_F^2+\alpha \sum _x\sum _{d\in h,v}\frac{({▽}_{d}L(x){)}^2}{\left|({▽}_d\hat{L}(x)\right|+ϵ}$$
至于为什么可以这样替代，在LIME中解释是替代后的目标函数提取照明估计$\hat{L}$的光照结构(The Structure of Illumination)与原始目标函数是一致的。然后用$A_d(x)$代替$\frac{\alpha }{|({▽}_d\hat{L}(x)|+ϵ}$得：
$$\underset{L}{\mathrm{argmin}}{\Vert L-\hat{L}\Vert }_F^2+\sum _x\sum _{d\in h,v}{A}_d(x)\cdot ({▽}_{d}L(x){)}^2$$由于上式只包含二次项，通过对$L$微分，并将导数设置为0可得到如下等式：
$$(I+\sum _{d\in h,v}{D}_d^{T}Diag(a_d)D_d)l=\hat{l}$$式中$I$是单位矩阵，$D$表示前向差分离散梯度算子的Toeplitz矩阵，有水平和垂直方向$D_h$和$D_v$。通过对上式求解就能得到$L$，我是没搞懂这个求导过程和求解的，有大佬知道的话麻烦评论告知，感谢！

Step 2：对于反射估计
同理，使用矩阵求和方式近似替代反射估计$R$，文章只说了1-norm的近似替代方法，并没有说F-norm的替代方法，所以我猜想：
$$\sum _x\sum _{d\in h,v}\frac{W_d(x)({▽}_{d}L(x){)}^2}{\left|({▽}_d\hat{L}(x)\right|+ϵ}\leftarrow {\Vert W\circ ▽R\Vert }_F$$
得到的反射估计$R$的序列方程为：
X
对序列方程微分，并将导数置0，可得：
$$(I+\sum _{d\in h,v}\beta D_d^{T}Diag(w_d)D_d+\sum _{d\in h,v}\omega D_d^T{D}_d)r=s/l+\sum _{d\in h,v}\omega D_d^T{g}_d$$由于上面两个都是对称正定Laplacian矩阵方程，通过矩阵操作可求解。

Step 3：合并$L$和$R$得到最终增强图像
通过Gamma矫正调整照明对比度并得到最终增强图$S^{\prime }$，公式如下：$$S^{\prime }=R\circ L^{{}^{\prime }1/\gamma }$$根据经验$\gamma$设置为2.2，其他参数设置见原文。

三、效果展示

对比度增强效果：HE、NPE、SRIE对比度局部或整体欠增强，而且增强后存在大量噪声。LIME局部过增强，且部分细节被破坏。
去噪效果：文章通过弱光增强方法+BM3D去噪与本文算法对比实现对比实验的，值得借鉴！

1、源码

JED[文章PDF]
GitHub代码
图片数据集[BSDS500]

2、个人总结

这篇文章同样是用优化方程求解最佳照明和反射估计，但是考虑到噪声主要在反射图中存在的事实，通过分别估计照明和反射图，避免了L和R相互影响，有效去除了反射图噪声，这对于有大量噪声的光照均匀的图像的确有很好的效果，但是分别估计也对融合之后的整体效果造成影响，局部细节能否继续修正解决不均匀光照的对比度和有效去噪效果！个人愚见…