论文阅读＜FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information＞

yrhzmu

已于 2023-12-17 20:25:11 修改

阅读量596

点赞数 4

文章标签： boosting 人工智能图像处理

于 2023-12-10 15:28:02 首次发布

本文链接：https://blog.csdn.net/yrhzmu/article/details/134907833

版权

提出团队：中山大学

论文链接：[2308.03033] FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information (arxiv.org)

代码链接： https://github.com/wangchx67/FourLLIE

摘要：

Motivation

Method

Frequency Stage in FourLLIE(FourLLIE的频率阶段)

Spatial Stage in FourLLIE

Experienment

Comparison with State-Of-The-Arts

Conclusion

摘要：

近年来，傅立叶频率信息在低光图像增强（LLIE）中引起了广泛关注。有研究人员注意到，在傅立叶空间中，亮度劣化主要存在于幅度分量中，其余存在于相位分量中。通过结合傅里叶频率和空间信息，这些研究人员为 LLIE 提出了出色的解决方案。在这项工作中，我们进一步探索了振幅大小与亮度大小之间的正相关性，可以有效地利用它来提高傅里叶空间中低光图像的亮度。此外，我们发现傅里叶变换可以提取图像的全局信息，并且不会像MLP或Transformer那样引入大量的参数。出于此目的，提出了一种基于傅立叶的两阶段 LLIE 网络（FourLLIE）。在第一阶段，我们通过估计傅里叶空间中的幅度变换图来提高低光图像的亮度。在第二阶段，我们引入信噪比（SNR）图来提供集成全局傅立叶频率和局部空间信息的先验，从而恢复空间空间中的图像细节。凭借这种巧妙的设计，FourLLIE 在四个代表性数据集上优于现有最先进 (SOTA) LLIE 方法，同时保持良好的模型效率。值得注意的是，与最近基于 Transformer 的 SOTA 方法 SNR-Aware 相比，FourLLIE 仅用 0.31% 的参数就达到了优越的性能。

Motivation

1、在傅里叶空间中，亮度表示集中在幅度分量在，相位分量包含与亮度无关的信息。

2、基于以上观察，这篇论文进一步探索了LLIE的傅里叶频率信息的属性。如图所示，给定具有相同上下文内容但是不同光照条件(弱光和正常光图像对)的两张图像，交换它们的幅度分量并将它们的幅度分量与傅里叶空间中相应的相位分量组合，重组结果表明，光照条件随着幅度交换而交换（参见图1（a）的顶部两行）。这种现象表明幅度分量代表图像的亮度。

3、通过仅放大弱光图像幅度分量并保留相应的相位分量，如下图底部一行所示，弱光图像变亮。

结论：通过增带傅里叶空间中的幅度分量可以提高低光图像的亮度，且不引入更多的网络参数。

Method

思路简介：FourLLIE通过频率和空间这两个阶段完成增强，在频率阶段，FlorLLIE通过估计幅度分量的变换实现亮度提升。在空间阶段，提出通过局部空间信息来恢复具有较高SNR值的图像区域，并通过傅里叶频率信息来恢复具有较低SNR值的图像区域。由此，低光图像在频率阶段被提亮，在空间阶段被细化。

Frequency Stage in FourLLIE(FourLLIE的频率阶段)

频率增强阶段如图所示，输入图像送入具有跳跃连接的六个傅里叶处理(FP)块中去估计幅度变换图(Amplitude Transfor map)，把输入图像得到幅度分量和估计的幅度变换分量进行逐像素相除得到幅度分量，再经过逆FFT，得到了频率阶段的增强结果。

FP模块的流程如下，每个 FP 块的输入首先变换到傅里叶空间以获得幅度和相位分量。然后，对于每个组件，应用两个具有 LeakyReLU 激活的 1×1 卷积层来提取特征。最后，这两个分量被变换回空间空间，然后是 3 × 3 卷积层和输入的残差。最终的 sigmoid 激活将变换映射限制在 (0, 1) 范围内。

整体流程用数学公式表示如下，损失函数是Ls1，通过最小化增强结果的幅度的一范数和GroundTruth的幅度的一范数的差进行约束。

Spatial Stage in FourLLIE

低光图像的亮度在频率阶段可以得到更好的改善，但是仍然存在一些细节退化。同时，基于SNR图的特性，图像中具有较低SNR值的区域需要长程（全局）操作来恢复，而具有较高SNR值的区域更喜欢短程（局部）操作。在这项工作中，我们进一步扩展了具有较低SNR值的区域倾向于在傅立叶空间中处理，而具有较高SNR值的区域倾向于在空间空间中处理。SNR图的计算方式如下。

在这一阶段，把频率增强阶段的增强结果作为输入去计算SNR map，通过输入到encoder去提取特征F，然后，特征 F 分别经过傅立叶处理（FP）块和空间处理（SP）块，分别产生全局特征 Ff ourier 和局部特征 Fspatail 。基于SNR map的s把FP提取的特征Ffourier和SP提取的特征Fspatial进行组合得到输出的特征，然后送入decoder得到输出图像。损失函数用以下公式计算，α是一个值为0.1的超参数。

总损失函数如下所示，λ是值为0.01的超参数。

Experienment

使用LOL-Real，LOL-Synthetic，LSRW-Huawei，LSRW-Nikon这四个数据集进行实验验证。

LOL-Real包含689对真实图像用于训练，100对用于验证。LOL-Synthetic是通过分析低/正常光图像的亮度通道分布从原始图像合成的。它包含 900 个用于训练的低光/正常光图像对和 100 个用于测试的低光/正常光图像对。LSRWHuawei 和 LSRW-Nikon 与 LOL-Real 一样是在真实场景中拍摄的，但使用的设备不同。 LSRW-Huawei 由华为 P40 Pro 采集，LSRW-Nikon 由 Nikon D7500 采集。 LSRWHuawei包含3150个训练图像对和20个测试图像对。 LSRW-Nikon 包含 2450 个训练图像对和 30 个测试图像对。除此之外，还在DICM、LIME、MEF、NPE、VV数据集上进行了验证。

Comparison with State-Of-The-Arts

选择PSNR、SSIM、LPIPS作为评估指标。通常，PSNR 越高、SSIM 越高、LPIPS 越低，表示两幅图像越相似。

如表2所示，与现有方法相比，所提出的方法在大多数情况下达到了最好的结果，而在其余情况下几乎达到了第二好的结果。值得注意的是，与最近基于 Transformer 的方法 SNR-Aware [45] 相比，由于傅里叶频率信息的有效全局表示，所提出的方法仅用 0.03% 的参数就实现了总体优越的性能。

与最近的基于傅里叶的方法 FECNet [14] 相比，由于进一步使用傅里叶频率信息，所提出的方法总体上优于它，参数更少。此外，我们的方法还具有与 UHDFour [24] 竞争的性能，UHDFour 在 LOL-Real [48] 上具有 21.78dB PSNR 和 0.87 SSIM，但具有 17.54M 参数。