[图像增强]Empowering Low-Light Image Enhancer through Customized Learnable Priors

最新推荐文章于 2025-05-07 18:31:28 发布

黎心ORZ

最新推荐文章于 2025-05-07 18:31:28 发布

阅读量1.4k

点赞数 12

文章标签：图像处理计算机视觉深度学习

本文链接：https://blog.csdn.net/lutlx20010913/article/details/144264081

版权

3.1 Structure Flow (结构流)

3.1.1Retinex Decomposition（Retinex分解）

3.1.2 Enhancement（增强）

3.2 Optimization Flow-最优化流

前言

本文是中科大、西安交大、南开大学等发表在ICCV2023的论文，作者包括 Naishan Zheng、Man Zhou、Yanmeng Dong、Xiangyu Rui、Jie Huang、Chongyi Li、Feng Zhao。本文提出一种用于低光图像增强的范式，通过探索定制的可学习先验来提高深度展开范式的透明度。作者利用掩码自动编码器（MAE）的强大特征表示能力定制了基于光照和噪声的 MAE 先验，将基于 MAE 的定制光照先验嵌入 Retinex 分解，并且将基于 MAE 的定制噪声先验消除噪声。

文献地址：https://arxiv.org/abs/2309.01958

代码地址：https://github.com/zheng980629/CUE/tree/master

Abstract-摘要

翻译

深度神经网络通过提高图像亮度和消除噪声，在弱光图像增强方面取得了显著的进展。然而，现有的方法大都是启发式地构造端到端映射网络，忽略了图像增强任务的内在先验知识，缺乏透明性和可解释性。虽然已经提出了一些展开的解决方案来缓解这些问题，但它们依赖于传递模糊和隐含先验的邻近算子网络。在这项工作中，我们提出了一个低光图像增强的范例，探索了定制的可学习先验信息的潜力，以提高深度展开范例的透明度。在MAE（Masked Autocoder）强大的特征表示能力的激励下，我们定制了基于MAE的光照和噪声先验，并从两个角度对它们进行了重新开发：1）结构流程：我们将MAE从正常光照图像训练到其光照属性，然后将其嵌入到展开结构的邻近算子设计中; 2）优化流程：我们将MAE从正常光图像训练到其梯度表示，然后将其用作正则化项以抑制模型输出中的噪声。这些设计提高了模型的可解释性和表示能力。在多个弱光图像增强数据集上的实验表明，文中算法优于其它算法.

一、Introduction-引言

在低光条件下，图像可见度受限且含噪如下图所受，影响下游任务，低光图像增强备受关注，现有方法分传统与深度学习两类。传统方法如基于 Retinex 理论虽能分解图像，但手工设计先验在复杂场景表现不佳。深度学习方法虽性能提升，但多构建黑盒网络，缺乏透明度与可解释性，像 URetinexNet 等虽改进但仍有不足。因此，作者提出探索定制可学习先验的潜力，利用 MAE 定制光照和噪声先验，从结构流和优化流重新开发，以提高深度展开范式的透明度和模型性能。

二、Relative Work-相关工作

2.1相关工作分析

传统方法包括直方图均衡化（HE）、伽马校正（GC）和 Retinex 理论等。HE 类技术用复杂先验拉伸动态范围，GC 类单独处理像素扩展动态范围，Retinex 类通过先验约束光照和反射率图，但手工先验在复杂场景泛化性差。
深度学习方法在低光图像增强上表现出色，但多为经验构建的黑盒网络，缺乏可解释性。一些改进方法如 URetinexNet 等虽有进步，但先验传递仍不明确。
受自然语言处理中 BERT 成功的启发，掩码图像建模技术如 MAE被提出将输入图像的大部分区域进行掩码，编码器仅对可见部分进行操作。这种方式迫使模型从有限的可见信息中学习到图像的关键特征，使得模型能够捕捉到图像中更具代表性和判别性的信息，从而提高特征表示能力

如下图所示MAE的网络架构以及模型效果：MAE能从有限可见像素挖掘深度特征，学习图像本质结构与语义，少量数据训练即可获强泛化能力。如在低光图像增强中，可精准捕捉光照与噪声特性构建先验，提升增强效果与模型适应性。

2.2本文贡献

提出新范式：通过定制可学习的光照和噪声先验，激活了其在低光图像增强方面的潜力，提出了一种新的深度展开范式，提高了模型的透明度和可解释性。
结构流改进：从结构流角度，将基于 MAE 的定制光照先验嵌入到展开架构中，使得光照先验能够在 Retinex 分解过程中发挥作用，改进了展开结构的透明度和可解释性。
优化流创新：在优化流方面，把基于 MAE 的定制噪声先验重新开发为正则化项，通过约束梯度表示一致性来消除噪声，增强了模型对噪声的处理能力。
实验验证优势：在多个低光图像基准数据集上进行实验，结果表明所提出的范式优于现有方法，并且定制的噪声先验在图像去噪任务中也被证明是有效的。

三、Method-方法

本文提出了定制展开增强器Customized Unfolding Enhancer(CUE)范例，其由结构流和优化流组成，如图所示。在结构流程中，是一个展开Retinex分解步骤嵌入了一个基于MAE的定制照明先验，并提供了一个增强步骤。然后，进入优化流程，包括Retinex分解，增强，以及从基于MAE的定制噪声先验中导出的梯度表示正则化。

3.1 Structure Flow (结构流)

3.1.1Retinex Decomposition（Retinex分解）

经典的Retinex理论假设观察到的图像可以分解为照明和反射分量，同时低光图像也不可避免的会引入噪声

其中I、R、L和N分别表示观察到的图像、反射率、照度和噪声。运算符表示逐元素乘法。

目标是最小化如下表达式

其中ρ1、ρ2和ρ3是正则化项，表示N、L和R上施加的先验，γ、β和ω是权重参数。 $||N||_1$ 是一个简单约束噪声稀疏性的一般先验，它不能准确地模拟低光图像中的噪声分布。因此，引入了隐式噪声先验ρ1（N），以进一步估计极端噪声,同时通过引入惩罚函数来去除均衡约束，μ是惩罚参数。

等价的目标函数可以通过迭代地更新L、R和N来求解

(1) L sub-problem

给定迭代k、Rk和Nk时的估计反射率和噪声，L可以更新为：

通过将近端梯度方法应用于Eq.(4)，我们可以推导出：

其中， $prox_{\beta P_2}$ 是与先验ρ2对应的最近端梯度算子，α1表示更新步长

基于MAE的光照先验

与光照先验相关的近端梯度算子 $prox_{\beta P_2}$ ，通常以黑盒方式构建隐式网络，导致先验原则模糊不清。而本文将预训练的基于 MAE 的光照先验嵌入到 $prox_{\beta P_2}$ 的设计中，在设计中构建一个类似 UNet 的卷积神经网络来替代MAE中的编码器-解码器架构，采用掩码图像建模策略，以经过多样化光照条件（通过伽马变换实现输入图像增强）处理后的正常光照图像的光照图为输入。将光照图划分为规则的不重叠区域，随机采样部分区域并掩码其余区域，同时保持地图整体结构。网络对所有可见和掩码区域进行处理，以重建经双边滤波器滤波后的光照图。预训练后，保留卷积部分输出 $f_{MAE_l}$ 。

$prox_{\beta P_2}$ 的详细设计

在预训练之后，我们将其编码器fMAEL合并到proxβ p 2的设计中，如图4所示。具体地，将第（k + 1）次迭代Lk+1馈送到fMAEL中以生成具有照明图的属性的特征表示

基于先验特征，将与定制照明先验集成的照明图L k+1公式化为：

如下图所示随着迭代的过程，可以逐步提取到低光图像的光照特征。

(2) R sub-problem

去掉与R无关的项，得到以下和光照优化类似问题

类似地，方程(8)写为：

其中，proxωρ3是对应于先验ρ3的邻近梯度算子，由两个Conv层以及ReLU激活实现，α2表示更新步长

(3) N sub-problem

方程的解如下，其中Shrink（X，η）= max {|X| − η，0}·sign（X）

3.1.2 Enhancement（增强）

1. 图像分解与准备：在 Retinex 分解后，低光图像Il和正常光图像In被分解为各自的光照、反射率和噪声项，即[Ll, Rl, Nl]和[Ln, Rn, Nn]（其中Nn为零）。由于图像没有最优光强，需要灵活的光照调整系统。参照 [60]，将低光图像的光照分量Ll与一个指示值ε（训练时ε = mean(Ln / Ll)，推理时由用户指定）结合，作为光照调整网络的输入。

2. 光照调整网络：光照调整网络采用 U - Net 结构，具有三个尺度，分别为 12、24 和 48 通道。其作用是调整光照分量，以改善图像亮度。

3. 反射率恢复网络：低光图像的反射率图Rl会受到颜色偏差和噪声污染影响，且与光照和噪声分布密切相关。因此，将光照图Ll、噪声图Nl与Rl整合到反射率恢复网络，其中反射率恢复网络结构与光照调整网络相同。

4. 增强图像生成最终的增强图像Ien通过增强后的光照图Len和恢复后的反射率图Rre逐元素相乘得到，即Ien = Len ◦ Rre。

3.2 Optimization Flow-最优化流

损失函数主要分为三部分

基于 MAE 噪声先验的正则化：噪声先验的编码器经预训练具强大梯度表征力。将其重构成正则项，借由约束增强与正常光图像梯度表征一致性抑噪，损失函数为 $\left \| f_{MAE_N}(I_{en})-f_{MAE_N}(I_n) \right \|_1$ ，如下是基于MAE的图像噪声去除的效果图，随着迭代次数，噪声逐步被抑制。
Retinex 分解损失函数：分解光照、反射率和噪声是不适定问题，利用成对图像，从多方面构建损失。包括以 $\\L^D_{res}=\left \| R_l-R_n \right \|_1$ 最大化反射率相似性即R距离；借 $\\L^D_{is}=\left \| \frac{\triangledown L_1}{max(\left | \bigtriangledown I_l \right |)} \right \|_1+\left \| \frac{\triangledown L_n}{max(\left | \bigtriangledown I_n \right |)} \right \|_1$ （ $\varepsilon =0.01$ ）实现光照平滑及（ $\\L^D_{mc}=\left \| M\circ exp(-c\cdot M) \right \|_1$ ）( $M=\left | \bigtriangledown L_1 \right |+\left | \bigtriangledown L_n \right |$ )保证光照一致性；用 $L^D_{re}=\left \| I_l-R_l\circ L_l -N_l \right \|_1+\left \| I_n-R_n\circ L_n \right \|_1$ 约束重建误差。综合得 $\\L^D=L^D_{re}+0.009*L^D_{rs}+0.15*L^D_{ms}+0.2*L^D_{is}$ 。
增强步骤损失函数：含光照调整和反射率恢复损失 $L^E=\left \| R_{re}-R_n \right \|_1+(1-SSIM(R_{re},R_n))+\left \| L_{en}-L_{n} \right \|_1+\left \| \bigtriangledown L_{en}-\bigtriangledown L_n \right \|_1$
总损失函数：CUE 端到端训练范式总损失函数为，各部分协同优化网络，提升低光图像增强效果及模型性能 $L=L^D+L^E+L^N$ 。利用LOL数据集训练3000个epoch的结果如下,其中psnr=19.3180，ssim=0.6355达到和论文相近水平。