Image Enhance (图像增强)

图像增强

图像增强领域的发展和研究

基于生成模型的低光照图像增强算法综述(来自知网)

基于自编码器的方法
基于生成对抗网络的方法(GAN)
基于扩散模型的方法(DDPM)
本文总结
本文主要介绍了这三种生成模型在图像增强方面的方法,通过这篇文章获得的创新点就是可不可以将扩散模型用于图像的增强。

常用的数据集

LOL 数据集
LOL 数据集有 v1 和 v2 版本。LOL-v2 分为真实子集和合成子集。在 LOL-v1、LOL-v2-real 和 LOL-v2-synthetic 上,训练集和测试集的比例分别为 485:15、689:100 和 900:100。
下载地址1
下载地址2

论文阅读与总结

A Dynamic Histogram Equalization for Image Contrast Enhancement(2007 IEEE)

摘要
本文提出了一种基于传统直方图均衡(HE)算法的智能对比度增强技术。这种动态直方图均衡化(DHE)技术控制了传统直方图均衡化的效果,从而在增强图像效果的同时不会丢失任何细节。DHE 根据局部最小值对图像直方图进行分区,并为每个分区分配特定的灰度级范围,然后再分别对它们进行均衡。这些分区还要经过重新分区测试,以确保不存在任何占主导地位的部分。这种方法能很好地增强对比度,而不会带来严重的副作用,如冲淡外观、棋盘格效果等,也不会产生不良的人工痕迹,因此优于其他现有方法。
本文创新
本文中提出了一种动态直方图均衡技术。与直方图均衡不同的是,直方图中较高的成分会支配较低的部分,而本文提出的动态直方图均衡(DHE)则对输入直方图进行分割操作,将其切成一些子直方图,使其没有支配成分。然后,每个子直方图都要经过均衡化处理,并在增强后的输出图像中占据指定的灰度级范围。因此,通过 DHE,灰度级的动态范围得到了控制,整体对比度得到了更好的增强,同时消除了低直方图成分被压缩的可能性,因为低直方图成分可能会导致图像的某些部分出现冲淡的外观。此外,DHE 还能确保保存图像细节的一致性,并且不会产生任何严重的副作用。
本文方法细节
在所提出的方法中,我们的主要观察点是消除图像直方图中较高直方图成分对较低直方图成分的支配,并控制灰度级的拉伸量,以合理增强图像特征。尽管一次使用变换函数处理整个直方图,但 DHE 仍会将其划分为多个子直方图,直到确保新创建的子直方图中不存在任何支配部分。然后,为每个子结构图分配一个动态灰度级 (GL) 范围,HE 可将其灰度级映射到该范围内。具体做法是,根据输入图像中灰度级的动态范围和直方图值的累积分布 (CDF),在各子直方图之间分配总的可用灰度级动态范围。这种对比度伸展范围的分配可防止输入图像中的细小特征被遮挡和冲淡,并确保整个图像的每个部分都能得到适度的对比度增强。最后,根据传统的 HE 方法,为每个子直方图计算单独的变换函数,并将输入图像的灰度级相应地映射到输出图像上。
整个技术可以分为三个部分——分区直方图、为每个子直方图分配 GL 范围以及对每个子直方图应用 HE。
A. 直方图划分
DHE 根据局部最小值对直方图进行分割。首先,它在直方图上应用大小为 1 x 3 的一维平滑滤波器,以去除不重要的极小值。然后,它将直方图中位于两个局部极小值之间的部分进行分区(子直方图)(第一个和最后一个非零直方图分量被视为极小值)。在数学上,如果 m0、m1、…、mn 是 (n+1) 个灰度级 (GL),对应于图像直方图中的 (n+1) 个局部极小值,那么第一个子直方图将选取 GL 范围 [m0, m1] 的直方图分量,第二个子直方图将选取 [m1+1, m2],以此类推。这些直方图分区有助于防止直方图的某些部分被其他部分占据。图 4(a) 展示了这种分区方法的一个示例
在这里插入图片描述
然而,仅靠这种划分方法并不能保证避免某些直方图成分的支配。为了检验是否存在支配部分,我们首先要找出每个子组图区的 GL 频率(直方图成分)的平均值 μ 和标准偏差 σ。如果在一个子柱状图中,频率在 (μ -σ) 到 (μ+σ) 范围内的连续灰度级的数量超过了该子柱状图所有灰度级总频率的 68.3%,那么我们就可以认为该子柱状图的频率呈正态分布[18],没有可能影响其他柱状图的主导部分。但另一方面,如果该百分比小于 68.3%,我们可能会担心子直方图中存在某些支配部分。在这种情况下,DHE 会通过在灰度级(μ-σ)和(μ +σ)对子组图进行分割,将其分成三个较小的子组图。图 4(b) 展示了这样一个实例。然后,第一和第三个子组图会进行相同的支配检验,必要时会重新分割。中间的分区保证无支配性。这种直方图拆分操作使直方图的低频部分在 HE 对其执行时不会有支配风险。
B. 灰度分配
将图像直方图分割成一些子直方图,使其中没有任何一个子直方图具有支配性部分,并不能保证获得很好的增强效果,从而避免支配性部分。这是因为一些具有较高值的子直方图可能会拉伸过多,使其他具有较低直方图值的子直方图获得显著对比度增强的空间变小,这是 GHE 中的一个常见现象
对于每个子直方图,DHE 都会在输出图像直方图中分配一个特定的灰度级跨度范围。这主要是根据输入图像直方图中子组图所占灰度级跨度的比率来决定的。这里的直接方法是
在这里插入图片描述rangei = 输出图像中子直方图 i 的动态灰度范围。(你可以不明白这个式子是什么意思但是你知道如何计算就行)
在这里插入图片描述
在这里插入图片描述C. 直方图均衡
传统的 HE 适用于每个子直方图,但允许其在输出图像直方图中的跨度限制在指定的 GL 范围内。因此,输入图像直方图的任何部分都不允许在 HE 中占主导地位。
我的阅读理解
关于这篇文章提到的方法就是,将直方图进行分割,直至任何一个子直方图都不存在主导成分,那么分割结束,然后为分割后的直方图限制器可以处理的像素的范围,之后进行直方图均衡化,当这个图像中的像素处于那个映射对应的范围是就使用那个函数去处理,而不是使用单一的函数去处整个图片。
代码

INSPIRATION: A reinforcement learning-based human visual perception-driven image enhancement paradigm for underwater scenes

本文提出的观点
(a) 应避免不加区分地使用单一方法来增强从各种水下场景中获取的水下图像,有必要有策略地选择一系列图像增强方法。这些方法应相辅相成,协同工作,以有效处理各种水下退化场景。
(b) 防止增强不足或过度,图像增强过程需要合理的指导。这种指导可以有效地增强水下图像,使其符合人类的审美偏好。
© 针对深度模型需要成对训练数据的局限性,有必要建立一个可行且可持续的增强基线,不依赖非水图像作为参考图像。
本文创新
(a) 为了避免不加区别地使用单一方法来增强从各种水下场景获得的水下图像,将水下图像增强建模任务表述为马尔可夫决策过程(MDP),并提出了基于强化学习的范式。如图所示,该范式有策略地选择图像增强算法并将其组织为一个最佳序列,旨在明确实现逐步增强的图像增强过程,并获得最佳增强性能。
在这里插入图片描述(b) 为了防止增强不足或过度,我们采用了三种非参考水下图像质量度量(水下图像质量度量(UIQM)(Panetta 等人,2016 年)、水下彩色图像质量评估度量(UCIQE)(Yang 和 Sowmya,2015 年)以及最小颜色损失(MCL)(Zhang 等人,2022 年c))来为基于强化学习的范式构建奖励。这些措施的设计灵感来自人类的视觉感知,能有效指导水下图像增强,使其与人类的视觉感知相一致。
© 为了解决深度模型需要成对训练数据的局限性,我们开发了一种仅使用水下图像作为输入的范式实施方案。具体来说,利用残差增强网络提取特征作为状态,利用图像增强算法作为动作,利用多非参考人类视觉感知指标的增量作为奖励,利用近端策略优化(PPO)(Schulman 等人,2017 年)作为强化学习模型。为了确保我们的范式具有可重复性和可复制性,可以通过替换特征提取器、图像增强算法、图像质量度量和强化学习模型来修改所提供的代码,从而验证我们范式的有效性。
用于形成状态的模型
在这里插入图片描述状态𝑠 表示水下图像𝐼的特征。如图 2 所示,残差增强网络包括残差模块和通道注意模块,用于提取特征。残差模块旨在保持数据的保真度并防止梯度消失(He 等人,2016 年),在水下图像增强中已被证明是有效的(Li 等人,2021 年)。它由两个残差块组成,除最后一层外,每个残差块包含三个具有 Leaky ReLU 激活函数的卷积层。在每个残差块之后,使用像素加法作为标识连接。每个残差模块中的卷积层具有相同数量的滤波器。使用了三个残差模块,在前两个残差模块之后使用最大池化层进行降采样。
此外,还利用通道注意模块来增强与人类视觉感知相关的信息特征,并抑制不那么有用的特征。首先,对输入通道注意模块的原始特征  应用全局平均池化层,从而产生一个通道描述符𝑑,该描述符囊括了各通道特征响应的嵌入式全局分布。其次,使用自门控机制(Hu 等人,2020 年)生成每个通道的调制权重。自门控机制包括两个全连接层,分别具有不同的 ReLU 和 Sigmoid 激活函数。然后,将这些权重应用于原始特征 ,生成重构特征 ,以防止梯度消失问题并保留原始特征的良好特性,具体如下:
动作集合
在这里插入图片描述依据状态选择动作的策略
在这里插入图片描述
奖励计算方式
在这里插入图片描述
假设 𝑟𝑡 为正值。在这种情况下,它表示行动 𝑎𝑡 对改善当前图像 𝐼𝑡 的视觉效果有利,因此应鼓励代理网络选择该行动。相反,假设 𝑟𝑡 为负值。在这种情况下,它表示行动 𝑎𝑡 对改善当前图像 𝐼𝑡 的视觉效果不利。因此,应鼓励代理网络不要选择该操作。

Retinexmamba: Retinex-based Mamba for Low-light Image Enhancement

摘要
本文介绍了 RetinexMamba 架构。RetinexMamba 不仅抓住了传统 Retinex 方法的物理直观性,还集成了 Retinexformer 的深度学习框架,利用状态空间模型(SSM)的计算效率提高了处理速度。该架构具有创新的光照估计器和损伤恢复机制,可在增强过程中保持图像质量。==此外,RetinexMamba 还用融合注意力机制取代了 Retinexformer 中的 IG-MSA(光照引导多头注意力),提高了模型的可解释性。==在 LOL 数据集上进行的实验评估表明,RetinexMamba 在定量和定性指标上都优于基于 Retinex 理论的现有深度学习方法,这证实了它在增强弱光图像方面的有效性和优越性。代码见 https://github.com/YhuoyuH/RetinexMamba。
突出贡献
本文首次引入用于弱光增强的 Mamba,使用 SS2D 代替 Transformers 捕捉远距离依赖。
本文提出了一种融合模块,能更好地实现符合 Retinex 理论的光照特征嵌入。
本文的网络架构
在这里插入图片描述本文的 RetinexMamba 由照明度估算器(a)和损伤恢复器(b)组成。
照明估计器(IE)受传统 Retinex 理论的影响。损伤恢复器的设计基于光照融合视觉曼巴(IFVM)。

照度估计器(IE)的结构如图(a)所示。我们将低照度原始图像 I 与通过计算获得的照度先验 Lp 合并,并增加通道维度作为输入。随后进行三次卷积以提取特征。第一个卷积 1 × 1 合并之前合并的输入,即把融合前的光照度应用到低照度图像中。第二个深度可分离卷积 5 × 5 对输入进行升采样,进一步提取特征,生成光照特征图 Flu,特征维数 nfeat 设为 40。最后,使用另一个 conv 1 × 1 进行降采样,以恢复 3 通道光照映射图 ¯L,然后将其元素乘以低照度图像 I,得到照明图像 Ilu。

损坏恢复器(IFVM)的结构如图 2(b)所示,它由基于光照融合视觉曼巴的编码器和解码器组成。编码器代表降采样过程,而解码器代表升采样过程。上采样和下采样过程是对称的,分为两个层次。首先,通过光照度估计器 IE 获得的照明图像 Ilu 被 3×3 的 conv(步长 = 2)降采样,以匹配照明特征图 Flu 的维度,从而方便后续操作。接下来,我们进行降采样,以降低计算复杂度并提取深度特征。下采样过程分为两层,每层包括一个光照融合状态空间模型(IFSSM)和一个步长为 2、核大小为 4 × 4 的卷积层。因此,经过两级下采样后,最深的特征维度应为 4C。提取图像特征后,我们需要进行上采样来恢复图像。与下采样类似,上采样也分为两层,每层包括一个 2 × 2 的去卷积层(步长 = 2)和一个 1 × 1 的卷积层,以及一个光照融合状态空间模型(IFSSM)。在每个解卷积层之后,图像的宽度和高度都会增加一倍,而特征维度则减半。然后,解卷积层的输出与相应的降采样照明融合状态空间模型(IFSSM)输出层相连接,以减少降采样过程中图像信息的丢失。最后,对图像进行 3 × 3(stride = 2)转换,以降低维度,并将其还原为具有三个通道的 RGB 格式。通过对恢复后的图像和 Ilu 进行残差连接,得到增强图像 Ien。
在这里插入图片描述

其中,◦ 表示元素相乘。反射分量 R 由物体的固有属性决定,而照明分量 L 则代表照明条件。然而,在这种公式表达式下,传统的 Retinex 算法无法考虑光线分布不均衡或弱光条件下的暗场景所产生的噪声和伪影,而且这种质量损失会随着图像的增强而进一步放大。因此,受 Retinex 算法的启发,我们采用了文献[2]提出的扰动建模方法,在原公式中引入了光照分量˜L 和反射分量˜R 的扰动项,如下式所示:
在这里插入图片描述

Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancemen

摘要
本文中,我们提出了一个简单而原则性强的基于 Retinex 的单阶段框架(ORF)。ORF 首先估计照度信息以照亮低照度图像,然后恢复损坏的图像以生成增强图像。我们设计了一个光照引导变换器(IGT),利用光照表征来引导不同光照条件区域的非局部交互建模。通过将 IGT 插入 ORF,我们得到了我们的算法 Retinexformer。全面的定量和定性实验证明,我们的 Retinexformer 在 13 个基准测试中的表现明显优于最先进的方法。用户研究和弱光物体检测应用也揭示了我们方法的潜在实用价值。代码见 https://github. com/caiyuanhao1998/Retinexformer
本文贡献
本文提出了首个基于变换器的低照度图像增强算法 Retinexformer。
本文提出了一种基于 Retinex 的单阶段低照度增强框架 ORF,它具有简单的单阶段训练过程,并能很好地对损坏进行建模。
本文我们设计了一种新的自我关注机制–IG-MSA,它利用光照信息作为关键线索来指导长距离依赖关系的建模。
本文总体架构
在这里插入图片描述

DICAM: Deep Inception and Channel-wise Attention Modules for underwater image enhancement

摘要
在水下环境中,成像设备会受到水的浑浊度、光的衰减、散射和颗粒的影响,导致图像质量低、对比度差和色彩偏差。这给使用传统视觉技术进行水下状态监测和检测带来了巨大挑战。近年来,水下图像增强因其在提高当前计算机视觉任务中水下物体检测和分割性能方面的关键作用而受到越来越多的关注。由于现有的方法主要基于自然场景,在提高色彩丰富度和分布方面存在性能限制,因此我们提出了一种基于深度学习的新方法,即深度感知和信道注意模块(DICAM),以提高朦胧水下图像的质量、对比度和偏色。所提出的 DICAM 模型可提高水下图像的质量,同时考虑到比例退化和非均匀偏色。
着重解决的问题
捕捉到的用户界面的劣化程度与物体和摄像机之间的距离成正比 。例如,如图 所示,在原始水下图像中,距离摄像机较远的高亮区域与距离摄像机较近的中心区域相比,其内容并不清晰可见。
在这里插入图片描述
本文的创新
(1) 使用阈值模块进行多尺度信道特征提取,以同时量化与色彩和距离相关的比例退化、色彩和内容信息损失以及色彩丰富度;
(2) 基于自适应融合的恢复和增强流程,其中包含信道关注模块 (CAM)。
我们的方法使我们能够生成具有更好的偏色和色彩丰富度的高质量增强图像,通过专门的色彩校正阶段产生视觉上更悦目、更自然的外观。
本文解决的问题
一般来说,水下图像有两个主要缺陷:(1) 比例衰减和 (2) 非均匀光衰减导致能见度低和色彩信息丢失。
如图 上图所示,比例衰减主要影响图像中不同区域内容(如物体、颗粒等)的可见度比例,离摄像机近的内容比远的内容可见度高,这意味着水下图像中不同区域的衰减率不同。‘
另一方面,不均匀的光衰减会使大部分捕捉到的用户界面看起来偏蓝或偏绿。
因此,为了解决上述质量下降问题并相应地增强用户界面,我们设计了一种深度神经网络架构,其灵感来自于萌芽[42]和注意力模块[43],分为三个阶段,即通道级色彩恢复、色彩校正和维度缩减,如图所示。
在这里插入图片描述如图所示,为了有效捕捉不同尺度各彩色通道的比例退化,我们使用了著名的 Inception(Inc)模块[42](如图 3-(a)所示)进行特征提取。从图中可以看出,除了通过 Max-Pooling 层获得的轮廓信息外,Inc 还允许我们用不同尺度(即 1 × 1(像素)、3 × 3 和 5 × 5)的结构特征图来表示输入图像。然而,3 × 3、5 × 5 和轮廓信息的降解率并不相同。因此,受文献[43]的启发,我们通过使用通道关注模块(CAM)(如图 3-(b) 所示),对提取的特征图进行了权衡。所提出的策略可以同时考虑颜色通道级和各种结构尺度的质量退化,从而进一步提高增强性能和内容表现力。
除了比例上的劣化之外,光线的衰减也会进一步导致色彩失真,如偏蓝或偏绿。因此,需要对提取的特征图进行自适应加权,以恢复真实色彩。在第二阶段对提取的特征图进行串联后,我们从合并的色彩特征图中提取特征,以捕捉更高层次的衰减,并使用 CAM 对其进行权重。在这一阶段,CAM 可帮助模型找回丢失的色彩信息,并通过对红、绿、蓝通道特征的自适应加权进行相应的色彩校正。

本文阅读总结
通过阅读这篇文章可以发现,水下图像增强方法和低光照图像增强所使用的方法是一样的,适用于水下图像增强的方法同样适用于低光照图像增强的方法,因为水下本来就是低光照的场景,所以无论是阅读水下图像增强方面的文章还是阅读低光照图像增强方面的文章都是可以的,都可以获得一定的收获。因为两者的方法是通用的。

Degraded Structure and Hue Guided Auxiliary Learning for low-light image enhancemen

摘要
现有的低光图像增强(LLIE)方法大多需要昂贵的配对训练数据,这在实际应用中带来了重大挑战。另一方面,依赖未配对数据和手工设计先验知识的无监督方法,往往会遇到诸如结构模糊、色彩失真问题,甚至在复杂场景下可能产生不可预测且效果不佳的增强结果。为了解决这一难题,我们提出了一种新颖的无监督方法——退化结构与色调引导辅助学习网络(SHAL-Net)。该方法旨在高效、轻量级,并在推理速度、低数据依赖性以及视觉愉悦度之间取得平衡。

SHAL-Net深入挖掘了低层次输入在多个维度上的退化特征,实现了自我引导的辅助学习。具体而言,我们介绍了一个可学习的结构对比恢复(SCR)模块,它与我们设计的分解网络(DecomNet)紧密结合。通过这种级联辅助学习,DecomNet和SCR相互约束。这种正则化技术限制了DecomNet的参数空间,帮助其避免局部最优解。此外,我们还在推理阶段引入了一个高效的增强步骤,进一步提升了性能。

在多个公开基准上进行了广泛的实验和消融研究,证明了SHAL-Net相对于当前最先进的无监督方法乃至一些有代表性的监督方法的优势。我们的代码和模型可在以下地址获取:https://github.com/hmx-harry/SHAL-Net。
本文创新
提出了一种无监督LLIE的辅助学习策略,即SHAL-Net,它由分解网络(Decom-Net)和结构对比恢复(SCR)模块组成,其中Decom-Net的学习受到了低光输入固有结构和颜色信息的指导。
设计了结构对比恢复(SCR)模块,考虑了结构对比,并将伽马校正和直方图均衡化融入深度学习之中。此外,引入了结构对比损失,以便在相似亮度域内整合结构对比信息,同时保持反射率图像的亮度。
在推理过程中设计了一个有效的增强阶段,通过结合传统方法以获得清晰明亮的结果。

根据Retinex理论,一张图像可以分解为光照图𝐋和反射率图𝐑。因此,一个低光图像𝐈可以通过R和L的逐元素乘积来分解,即:𝐈 = 𝐑 ⊙ 𝐋(1),其中⊙代表逐元素乘法。在此Retinex理论基础上,我们提出了一个简洁且高效的流程(见图2),该流程包含分解网络(Decompose Net, Decom-Net)和结构对比度恢复(Structure-Contrast Recovery, SCR)模块。Decom-Net能够将输入图像分解成𝐑和𝐋。SCR模块则将传统先验知识融入深度学习过程中,以此来规范Decom-Net的训练。此外,在推理阶段,我们进一步引入增强环节,该环节对分解得到的𝐑和𝐋图进行去噪和亮度调整,高效地获得最终改善后的输出图像。

与使用有监督信息的KinD [12] 相比,SHAL-Net同样调整从图像中分解出来的反射率和光照图。然而,我们的网络结合了传统方法学与深度学习技术,能自动提取低光输入图像内部的固有退化特征,并指导调整过程,无需参考图像。在配对数据有限的情况下,利用传统方法(如直方图均衡化和伽马校正)侧重于原始内容的重构而非数据生成,从而增强了调整过程的稳定性。

综上所述,SHAL-Net优化了现有工作流程并减少了对外部数据的依赖。
本文模型结构
在这里插入图片描述这张图描绘了一个低光图像增强系统的框架。系统分为两个主要部分:分解网络(Decomposition Net)和增强阶段(Enhancement Stage)。

在分解网络中,首先应用对比度受限的自适应直方图均衡化(CLAHE)对低光图像进行预处理,然后将其输入到分解网络中。分解网络是一个深度学习网络,它将输入图像分解为反射率图(R)和光照图(L)。分解网络由多个卷积层和激活函数组成,最后输出两个通道的图像。

在增强阶段,首先将经过分解网络处理的图像与原始的低光图像相乘,得到引导图。接着,使用导向滤波器对引导图进行降噪处理。最后,将降噪后的引导图与原始的低光图像相乘,得到增强后的图像。

整个系统的设计目标是为了更好地恢复低光图像的结构对比度,同时避免过度增强导致的失真。

尽管Decom-Net能够正确地分解反射分量𝑅和照明分量𝐿,但反射分量𝑅中的细节显得模糊。受[25]工作的启发,我们计划采用直方图均衡化方法来提取低光输入𝐼𝑙𝑜𝑤中的退化高对比度结构和细节图𝐼ℎ。然而,直接在无监督网络中使用𝐼ℎ的特征是具有挑战性的。由于分解得到的𝑅缺乏来自真实图像的亮度作为先验知识——它的亮度仅是网络学习得到的一个理论值,这就给𝐼ℎ和𝑅在亮度域操作上的对齐带来了挑战。

为了解决这个问题,我们提出了结构对比度恢复(Structure-Contrast Recovery, SCR)模块,它结合了传统方法与深度学习,对𝐼ℎ进行细粒度的亮度增强。SCR旨在最大化恢复经过CLAHE(限制对比度的自适应直方图均衡化)处理过的图像𝐼ℎ的退化,并为分解得到的反射分量𝑅提供结构丰富的辅助特征,同时确保它们处于相似的亮度域内。这一过程可表示为:

  1. (𝐼_γ^ℎ = γ_f(𝐼_h)):其中(𝐼_h)代表经过直方图均衡化增强后的图像,(γ_f)是一种自适应伽马变换,利用𝐼ℎ的平均值来计算相应的自适应伽马值,公式为(g = \log_{10}(x / (\overline{𝐼} / 255))),随后应用伽马变换(𝐼_γ = p^{ow}(𝐼, g)),其中(x)为调节增强幅度的超参数。
  2. (𝐼_l^ℎ = α ⊗ 𝐈_h):这里(α)是一个与输入图像尺寸匹配的可学习系数矩阵,通过逐元素乘法对𝐼ℎ进行线性变换以增强亮度。
  3. (𝐼^*_h = 𝐈_γ^ℎ + 𝐈_l^ℎ):最终通过将上述两步的结果相加以获得增强的图像。

SCR模块结构如图2所示,它接受𝐼ℎ作为输入,并通过四个深度可分离卷积层进行处理,前三层使用ReLU激活函数,最后一层使用Sigmoid函数。通过线性和非线性变换方法的组合以及引入可训练参数,该模块解决了单一伽马校正可能导致的饱和失真、过度增白及复杂场景表现力弱的问题。由SCR增强后的(𝐼^*h)将用于计算结构对比度损失(记作(ℒ{sc})),确保其与反射分量𝑅的灰度图在结构和对比度上的一致性。

值得注意的是,SCR的输出不仅被用于指导Decom-Net的进一步处理,其训练也受到Decom-Net通过(ℒ_{sc})施加的约束,从而保证输出有利于分解任务。此外,(𝐼^*_h)还作为引导滤波去噪步骤中的引导图,参与增强阶段。通过级联学习架构,SCR参与到分解和增强的整个流程中,实现了紧密的图像辅助分解和去噪功能。

我们设计了一个有效的增强阶段,该阶段在推理过程中对图像进行后处理,从而进一步优化增强图像的质量。在此阶段,分解得到的反射分量(R)和光照分量(L)会被单独去噪并根据亮度进行调整,这有助于获得清晰的亮度增强效果。具体来说,光照图(L)的亮度通过自适应伽马校正(公式(5)-(6))自动增强。为减轻反射图(R)中的噪声,我们采用了传统的引导滤波方法[38]。引导滤波的基本原理是利用引导图来获取边缘和区域的信息线索,这样过滤器就可以有选择地保留边缘平滑区域并进行自适应去噪。SCR输出(\hat{I}_h)包含了从低光输入中提取的清晰细节和纹理,使其适合作为引导图用于反射图(R)的引导滤波去噪中。因此,即使不引入额外的可学习参数,引导滤波也能高效地利用学习得到的(\hat{I}_h)图进行辅助去噪。这种结构既实现了信息的复用,又结合传统方法减少了网络参数。在第4.3节中,我们将阐述当引导滤波与深度学习输出相结合时,在速度和性能方面的优势。最后,通过元素级乘法操作在(R)和(L)上执行,以获得增强图像,可表示为:[\hat{I} = \phi(\mathcal{R}, \hat{I}_h) \odot \sigma_g(L)]其中(\phi)表示引导滤波去噪器。

为了确保无监督训练的正确更新,我们提出了以下不同的损失函数:

  • Retinex分解损失:基于Retinex理论(公式(1)),Retinex损失可以表述为:[ℒ_r = ||I - (\mathcal{R} \odot L)||^2_2 + ||\mathcal{R} - (I/L)||^2_2]在训练阶段&#

  • 20
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值