FourLLIE: Boosting Low-Light Image Enhancement by FourierFrequency Information

代码链接：GitHub - wangchx67/FourLLIE: This is the official pytorch implementation of "FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information" (ACM MM 2023)

一、研究动机

一些研究者注意到低光图像在傅立叶空间中，大多数亮度表示集中在振幅分量中，而相位分量包含与结构和噪声的信息。

• 本文进一步探索的幅度和亮度的幅度之间的正相关性，进一步研究傅里叶空间的低光图像。
• 傅里叶变换可以提取图像的全局信息，并且不会引入像多层感知器（MLP）或Transformer那样的大量神经网络参数。

1. 

• ---

  为此，本文提出了一种两阶段基于傅立叶的LLIE网络（FourLLIE）。在第一阶段中，通过估计傅立叶空间中的振幅变换映射来改善低光图像的亮度。在第二阶段中引入的信噪比（SNR）映射，提供先验去整合的全局傅立叶频率和局部空间信息，恢复图像在空间中的细节。FourLLIE十分轻量，参数仅为0.12M就达到了其他SOTA方法相当的性能。

  二、创新点

1. 探讨了傅里叶空间中振幅分量的大小与空间中的亮度之间的正相关关系。利用这一特性，本文提出了一种在傅里叶空间中实现亮度改善的有效而合理的方法。
2. 引入信噪比映射来整合傅里叶频率信息和空间信息。它充分利用了傅里叶频率信息的全局性。

• 三、方法

这种基于信噪比图的策略充分利用了图像中不同区域的特性，旨在实现全局亮度的提升和局部细节的恢复，从而使图像在各方面都更为清晰和自然。

傅里叶处理模块与空间域处理模块：

1. 

2. 

   

   

   

3. 网络框架：

   

   提出了低光图像的增强分两个阶段：频率阶段和空间阶段。频率阶段通过估计幅值变换矩阵来提高幅值分量在傅里叶空间中的幅度，从而提高弱光图像的亮度。空间阶段利用傅里叶频率信息和信噪比映射图的全局特性进一步恢复细节。

   第一阶段粗略恢复亮度得到Output1：

   

   其中M是振幅变换矩阵

   第二阶段恢复细节及降噪得到最终复原图Output2：

   

   

4. 对于信噪比较低的区域，我们在傅里叶空间中进行全局处理，以全局特征为基础进行恢复。这有助于提高整体亮度和对比度，使得图像更加清晰。
5. 对于信噪比较高的区域，我们选择在空间中进行局部处理，以保留更多的细节信息。这意味着我们将更关注每个像素周围的局部上下文，确保图像的局部特征得到有效的恢复。

解释：

信噪比高的区域：

特征： 高信噪比表示图像中的信号相对较强，而噪声相对较弱。

处理方式： 在这些区域，图像质量已经相对较好，因此更适合进行局部信息的恢复。局部处理有助于保留并加强该区域的细节，避免因全局处理而引入不必要的改变。通过关注局部上下文，可以更好地保留图像的精细结构和纹理。

信噪比低的区域：

特征： 低信噪比表示图像中的信号相对较弱，而噪声相对较强。

处理方式： 在这些区域，由于噪声的影响较大，局部处理可能会导致失真。因此，更适合采用全局信息进行处理，以提高整体亮度和对比度。全局处理有助于抑制噪声，改善整体图像质量，并确保图像在低信噪比区域的清晰度。

损失函数：

四、实验

消融实验

实验1：设置三个对照组证明振幅变换矩阵的有效性

设置三组对比实验

设置1：图像通过神经网络直接估计图像的振幅信息；

缺点：由于幅度分量非常复杂并且不具有结构属性或其他相关先验（如空间域中的图像），因此难以通过神经网络直接学习良好增强的幅度。

设置2：图像先在空间域进行处理的方法，然后将结果转换到傅里叶空间估计振幅信息

缺点：容易导致细节损失（例如颜色），因为它忽略了低光和正常光图像的振幅分量之间的关系

设置3：通过神经网络估计图像的振幅变换矩阵。将估计的振幅变换映射应用于原始图像的振幅分量。

实验2：可视化第一阶段和第二阶段的复原图:

低光图像的亮度在频率阶段可以得到很好的改善，但在细节上仍然存在一定的退化。

实验3：用FP模块代替transformer块证明傅里叶空间具有全局性。

1. SNR-Aware-Fourier 在性能上表现出色，仅使用 SNR-Aware-Transformer 约 1/20 的参数就能达到竞争力的性能。这意味着使用傅里叶处理的模型在保持性能的同时大大减少了模型参数的数量。
2. SNR-Aware-Fourier 对于潜在特征的信道数量不敏感。即使只使用 16 个潜在特征通道，SNR-Aware-Fourier 仍能在 LSRW-Huawei 数据集上取得良好的性能。相比之下，减少 SNR-Aware-Transformer 的信道数量可能导致性能下降。

作者推断这种出色性能的原因在于傅里叶频率信息具有固有的全局特性，因此它不依赖于神经网络的大量参数。这也说明了傅里叶频率信息在图像增强任务中的潜在优势。

实验4：各组件的有效性量化评价

可视化结果分析

通过视觉比较，提出的方法在多个数据集上都展现出了卓越的性能，不仅在细节恢复上表现出色，而且在图像整体亮度方面也具有优势。

量化指标

实验1：在五个成对数据集上测试量化指标结果

提出的方法在大多数现有的低光图像增强（LLIE）方法中表现更好。尽管SNR-Aware [45]在NIQE评估中达到了竞争性能，但其参数远远超过了提出的方法

实验2：在5个无参考数据集上测试NIQE值。

本文还在五个不相配的数据集上测量了自然度图像质量评估器（NIQE）分数。具有较低NIQE分数的图像表示更高的自然度图像质量。

实验3：扩展到其他任务---曝光校正任务仍然有效

总结

这项研究通过对傅里叶频率信息的深入探索，提出了一种新的低光照图像增强方法（FourLLIE）。该方法分为频率阶段和空间阶段，首先通过估计振幅变换映射提高亮度，然后引入信噪比图以在频率和空间中实现交互，从而恢复细节。FourLLIE在轻量级架构下优于现有方法，展示了傅里叶频率信息在低光照图像增强中的有效性。未来的工作将进一步探索傅里叶频率信息的其他特性，以适应更多不同的降质情况。

启发

1. 傅里叶频率信息的潜力： 论文深入研究了傅里叶频率信息在图像复原中的作用，并发现了其在提高图像亮度方面的潜力。这启发我们在图像处理任务中更加充分地利用频域信息，以获得更好的增强效果。
2. 全局性和高效性的权衡： 傅里叶频率信息被证明具有全局性和高效性，不引入大量神经网络参数。这为设计轻量级、高效的图像增强算法提供了思路，强调了在处理图像时权衡全局信息和计算效率的重要性。
3. 信噪比引导的频率和空间交互： 引入信噪比图作为全局指导，实现了低信噪比区域的全局处理，而高信噪比区域的局部处理。这种频率和空间交互的机制为更灵活、自适应的图像处理提供了新思路，特别是在处理不同质量图像时。