【低光照图像增强之非解耦方法】

空天报国，自强不息

已于 2023-12-16 22:45:28 修改

阅读量889

点赞数 19

分类专栏：低光照图像增强文章标签：计算机视觉人工智能图像处理 python

于 2023-12-16 22:43:56 首次发布

本文链接：https://blog.csdn.net/weixin_45914567/article/details/134367913

版权

低光照图像增强专栏收录该内容

9 篇文章 6 订阅

订阅专栏

Dual Illumination Estimation for Robust Exposure Correction论文学习和总结

摘要：

摘要：

曝光校正是图像处理和计算摄影的基本任务之一。尽管各种方法被提出，它们要么不能产生视觉上令人愉悦的结果，或者仅适用于有限类型的图像（例如曝光不足的图像）。在本文中，我们提出了一种新的自动曝光校正方法，该方法能够对各种曝光条件（例如，曝光不足、曝光过度以及部分曝光不足和曝光过度）的图像稳健地产生高质量的结果。我们的方法的核心是所提出的双照明估计，其中我们将曝光不足和曝光过度校正分别作为输入图像和反转输入图像的琐碎照明估计。通过进行双光照估计，我们获得了输入图像的两个中间曝光校正结果，一个固定曝光不足区域，另一个恢复曝光过度区域。然后，采用多曝光图像融合技术将两个中间曝光校正图像和输入图像中视觉上最佳曝光的部分自适应地混合成全局良好曝光的图像。在许多具有挑战性的图像上进行的实验证明了所提出的方法的有效性及其优于最先进的方法和流行的自动曝光校正工具。

第一遍的感觉：对于输入图像，通过双照度估计，产生两种不同的曝光结果，然后挑选三种视觉最好的部分，合成一张图像。
这里双照度估计是怎么估计的，第二个他是怎么融合的，是依据什么去融合的。

前言

由于固有的非线性和主观性，曝光校正是一项具有挑战性的任务，当前对于图像曝光矫正，的确存在交互式的ps等工具对图像进行色调和曝光调整，但是使用这些工具主要存在两个问题，需要依靠专业的人去设置，也就是需要依靠人为的经验去设置亮度、对比度、颜色等，过程繁琐，且对于小白不好入手，第二个，当然也有一键自动处理的功能，但是他的泛化性差，不能总的得到理想的结果。现有的方法，它们大多设计用于仅校正欠或过暴露，因此适用性有限。还存在一些适用于任意曝光条件的图像的方法。早期的方法，如直方图均衡及其变体，通过拉伸强度直方图的动态范围来工作，但往往会产生不切实际的结果。随后的一些方法依赖于S形色调映射曲线或小波来工作，而最近的方法在数据集上训练色调调整模型以允许曝光校正。然而，它们在曝光过度的图像上效果不佳，可能会导致不自然的结果。

方法

我们首先进行双光照估计以获得正向和反向光照，从中恢复中间曝光不足和曝光过度校正的图像。然后，两个中间曝光校正图像与输入图像一起被融合成期望的图像，该期望的图像无缝地融合了三个图像中的每一个图像中最佳曝光部分。
在这里插入图片描述

双光照估计
根据Retinex原理，其特征在于所需增强图像I′和单通道照明图L的逐像素乘积：我们的双照明估计的基础是基于Retinex的图像增强[WZHL13，GLL17，ZYX*18]中的假设，该假设假设图像I（归一化为[0,1]）可以表征为所需增强图像I′和单通道照明图L的逐像素乘积：

有了这个假设，图像增强可以简化为照度估计问题，因为只要照度图L已知，我们就可以恢复所需的图像I′。然而，基于Retinex的方法在曝光过度的图像上效果不佳。原因是图像的衰减曝光需要等式1中的照明图L超过正常色域（即L>1），因为得到的图像i′由i×L−1恢复。图4显示了一个例子，其中基于Retinex的增强方法进一步增加了暴露在图4（b）和（c）中生成视觉上不平滑的图像。
在这里插入图片描述
通过观察。与以前基于Retinex的增强方法不同，我们观察到，过曝光校正也可以通过反转输入图像来公式化为照明估计问题，因为原始过曝光区域在反转图像中会显示为曝光不足，允许我们通过校正反转的输入图像中的相应曝光不足区域来固定输入图像中曝光过度的区域。具体地说，为了校正输入图像I中的过度曝光区域，我们首先获得其反转图像Iinv=1−I，并估计相应的照明图Linv。然后，我们通过I′inv=Iinv×L−1 inv来计算曝光不足校正图像I′inv，并恢复所需的曝光过度校正图像I’=1−I′inv.注意，反转的输入图像通常是不现实的图像，但恢复的曝光过度校正图像是真实的。图5验证了我们的观察结果，我们通过对反转的输入图像进行照明估计，成功地校正了曝光过度的图像。
值得注意的是，在以前的增强方法[DWP*11，LWWG15]中已经使用了反转图像。我们使用倒置图像和这些方法之间的区别有两个。首先，他们专注于增强弱光图像/视频，而我们的目标是纠正曝光过度的照片。其次，他们的观察结果是，倒置的微光图像看起来像模糊的图像，因此使用去雾算法来产生最终结果。相反，我们观察到过度曝光的图像在反转时曝光不足，并且可以通过照明估计来间接校正。
基于这一观察结果，我们设计了双照明估计，其中第一遍估计输入图像的前向照明并旨在校正曝光不足区域，而另一遍对反转的输入图像执行以获得反向照明并校正曝光过度区域。这种设计背后的原因是输入图像可能部分曝光不足和曝光过度，因此需要两次曝光估计来校正不同曝光条件的区域。注意，在相同的照明估计框架中分别估计正向和反向照明。下面我们将描述照度估计框架。
照度估计框架。估计照度对于给定的图像I，我们首先通过将最大RGB颜色通道作为每个像素[Lan77]的照明值来获得初始照明L′，其表示为
在这里插入图片描述
其中Ic p表示像素p处的颜色通道c。我们使用最大颜色通道作为初始照明的原因是，根据I′=I×L′−1，较小的照明可能具有将恢复图像I′的颜色通道发送到色域之外的风险。尽管初始照明贴图大致描绘了整体照明分布，但它通常包含更丰富的细节和纹理，而这些细节和纹理不受照明不连续性的影响，这使得从中恢复的结果不现实；见图6（b）和（c）。因此，我们建议通过保留突出的结构，同时去除冗余的纹理细节，从L′估计精细的照明图L。为此，我们定义了以下用于获得所需照明图L的目标函数：
在这里插入图片描述
其中？x和？y分别是水平方向和垂直方向上的空间导数。wx，p和wy，p是空间变化的平滑度权重。第一项（Lp−L′p）2强制L与初始照明图L′相似，而第二项旨在通过最小化偏导数来去除L′中的冗余纹理细节。λ是用于平衡这两项的权重。
直观地说，方程3中的目标函数在形状上与WLS平滑[FFLS08]的目标函数相似。但是，我们对平滑度权重的定义不同。具体地，x方向平滑度权重wx，p被写为

在这里插入图片描述
其中Tx，p受相对总变化（RTV）[XYXJ12]的启发，定义为

与边缘保持平滑方法在光照估计方面的比较。（a）以及（e）是输入图像和初始照明。（b）以及（c）是通过WLS平滑[FFLS08]和RTV方法[XYXJ12]产生的平滑照明。（f）以及（g）分别是从照明（b）和（c）恢复的结果。（d）以及（h）是我们估计的照度和相应的曝光校正结果。
或者，我们对估计的照度L进行伽马调整，即L=Lγ，并通过i′=i*（Lγ）−1恢复曝光校正结果。在我们的实验中，我们根据经验将γ设定为0.6。图6展示了我们的照明估计在校正曝光不足图像方面的有效性。可以看出，通过优化方程中的目标函数。3，我们获得了具有少量纹理细节的分段平滑照明，从中我们恢复了视觉上令人愉悦的曝光不足校正结果。
图7将我们的照明估计与之前的边缘保持图像平滑方法[FFLS08，XYXJ12]进行了比较。为了进行公平的比较，我们使用作者提供的具有良好调整参数的实现，基于相同的初始照明生成了他们的照明。此外，当恢复曝光校正结果时，伽马调整被应用于由每种方法产生的照明。如图所示，我们的照明在保留显著照明结构的同时，更好地去除了初始照明中多余的纹理细节，并以更清晰的对比度和更生动的颜色恢复了视觉上令人愉悦的结果。请注意，尽管在图7中执行了前向照明估计，但上述结论也适用于反向照明估计，因为两者建立在相同的照明估计算法上。

为什么需要进行双照度估计：他是想通过双照度估计，寻找曝光最佳的地方。
怎么估计：先将输入图像的最大像素提出，然后通过照度估计函数估计，再用伽马矫正。
我的想法：三种曝光然后寻找最优曝光像素

照度估计框架：
对于给定的图像I，我们首先通过将最大RGB颜色通道作为每个像素[Lan77]的照明值来获得初始照明L′，其表示为

在这里插入图片描述
图5：验证我们的观察结果。（a）输入曝光过度的图像I。（b）反转的输入图像Iinv。（c）以及（d）是照明Linv和反转图像Iinv的曝光不足校正图像I′inv。（e）过曝光校正图像I′＝输入图像（a）的1−I′inv。

多曝光图像融合
如上所述，通过执行所提出的双照明估计，我们可以获得输入图像的两个中间曝光校正版本，其中一个校正曝光不足区域，另一个恢复曝光过度区域。直观地说，要生成全局良好曝光的图像，关键是无缝融合两个中间曝光校正图像中的局部最佳曝光部分。考虑到输入图像中可能存在正常曝光区域，我们额外采用输入图像，并对三幅图像进行多次曝光图像融合，以获得最终的曝光校正结果。

设I′f和I′r表示输入图像I的中间曝光不足和曝光过度校正图像。然后，我们使用曝光融合技术[MKVR09]将图像序列{I′f，I′r，I}融合为全局曝光良好的图像I′。具体而言，我们首先通过以下方式计算序列中每个图像的视觉质量图：
在这里插入图片描述

其中k表示图像序列中的第k个图像。C、 S和E是对比度、饱和度和曝光度的定量测量；有关详细信息，请参见[MKVR09]。βC、βS和βE是用于控制每个测量的影响的参数，默认设置为1。请注意，具有较高视觉质量值的像素更有可能更好地曝光。然后对三个视觉质量图进行归一化，使得它们在每个像素p处加起来为一个。
接下来，采用Burt和Adelson[BA83]提出的多分辨率图像融合技术，在预先计算的视觉质量图的指导下，对序列中的图像进行无缝融合。图8显示了一个示例。如图所示，图8（d）中的融合图像自适应地保持了多次曝光图像序列中视觉上最好的部分（图8（a）-（c）），并且由于亮度提高、细节清晰、对比度明显和颜色生动，与输入图像相比具有更好的视觉吸引力。然而，我们注意到，在融合图像中，来自图像序列的局部最佳曝光区域（如面部和天空）的质量明显下降。我们发现，这是因为在融合过程中，序列中视觉质量较低的相同区域削弱了这些区域的影响。因此，我们建议通过仅在图像序列的每个像素处保持最大值来修改视觉质量图，（找三者的最大值）而不是对视觉质量图进行归一化，该值表示为在这里插入图片描述
使用修改后的视觉质量图，我们获得了改进的结果，人脸和云的细节更清晰，对比度更好，颜色更生动，如图8（e）所示。

图8：多曝光图像融合。（a）输入图像。（b）和（c）分别是从正向和反向照明中恢复的曝光不足和曝光过度校正的图像。（d）以及（e）是由原始和修改的视觉质量图产生的融合图像。

实施和参数设置

我们在Core i5-7400 CPU 3.0GHz上使用Matlab实现了我们的算法。与[XLXJ11]类似，我们在傅立叶域中交替优化方程3中的目标函数以实现加速，这需要0.3秒来估计100万像素图像的照度。对于多曝光图像融合，我们采用了[MKVR09]作者提供的实现方式，这需要大约1.5秒才能产生100万像素图像的结果。请注意，如[MKVR09]中所分析的，优化的GPU实现将大大加快融合过程并实现实时性能。
我们算法中的关键参数是λ，它控制最终照明的平滑度。通常，较大的λ产生更平滑的照明，这允许恢复具有更强局部对比度的曝光校正图像。然而，过度平滑的照明反过来会降低亮度和对比度。为了获得更好的视觉效果，我们在所有实验中都设置了λ=0.15，这产生了良好的结果。图9显示了一个示例，说明了λ如何影响前向照明和恢复的曝光不足校正图像。

实验

在这里插入图片描述
与第一次用户研究中使用的自动曝光校正工具和专家对几个示例图像进行的视觉比较。输入图像和专家修饰的结果来自MIT Adobe FiveK数据集[BCD11]。

Conclusion and Future Work

我们提出了一种新的曝光校正方法。与以前的方法不同，我们建议估计双照明，这使我们能够方便地恢复高质量的中间曝光不足和曝光过度校正的图像。然后采用多曝光图像融合技术将两个中间曝光校正图像和输入图像中的局部最佳曝光部分集成为全局良好曝光的图像。总的来说，我们的方法简单而有效，可以在接近交互式的速率下完全自动运行。我们对许多图像进行了广泛的实验，并将我们的方法与流行的自动曝光校正工具和最先进的方法进行了比较，以证明其有效性。

我们未来的工作有三个方面。首先，我们将调查如何在曝光校正期间抑制噪声。其次，我们感兴趣的是采用语义信息和纹理合成技术来恢复极度欠曝光和过度曝光区域的丢失图像内容，如图13所示。第三，受[ZHF*18]的启发，我们将尝试通过引导具有显著性的照度估计来改进结果。

##代码实现
请添加图片描述

效果的话，确实可以对过曝和欠曝矫正，但是恢复的图像是存在问题的。而且处理的速度也相对来说比较慢，后续会对其进行改进。

参考文献：
文章的代码
 文章

空天报国，自强不息

关注

19
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
【低光照图像增强之非解耦方法】

曝光校正是图像处理和计算摄影的基本任务之一。尽管各种方法被提出，它们要么不能产生视觉上令人愉悦的结果，或者仅适用于有限类型的图像（例如曝光不足的图像）。在本文中，我们提出了一种新的自动曝光校正方法，该方法能够对各种曝光条件（例如，曝光不足、曝光过度以及部分曝光不足和曝光过度）的图像稳健地产生高质量的结果。我们的方法的核心是所提出的双照明估计，其中我们将曝光不足和曝光过度校正分别作为输入图像和反转输入图像的琐碎照明估计。
复制链接

扫一扫