TIP 2024 | 在频率域中学习注意力以实现灵活的真实照片去噪

Learning Attention in the Frequency Domain for Flexible Real Photograph Denoising
作者：Ruijun Ma, Yaoxuan Zhang, Bob Zhang, Leyuan Fang, Dong Huang, Long Qi
论文创新点

1. 首次将频率线索与特征注意力结合：该论文首次提出将频率线索与特征注意力结合，用于真实噪声去除。通过构建一个基于学习的频率注意力框架，充分表征更广泛频率谱上的特征相关性，从而增强网络在多个频率通道上的表示能力。

2. 引入频率注意力模块解决信号偏差问题：论文提出了一种新颖的频率注意力模块，用于探索多频率特征之间的相互依赖性。该模块通过离散余弦变换（DCT）将空间域特征转换到频率域，并利用协方差归一化来增强频率通道之间的相关性，从而解决了现有去噪器偏向低频信号的问题。

3. 改进的自适应实例归一化（AdaIN）模块：论文引入了一个改进的自适应实例归一化（AdaIN）模块，称为AMM。

摘要

近年来，深度学习技术的进步推动了真实照片去噪领域的发展。然而，由于空间域中的固有池化操作，当前基于卷积神经网络（CNN）的去噪器偏向于关注低频表示，而丢弃了高频成分。这会导致视觉质量不佳的问题，因为图像去噪任务的目标是完全消除复杂的噪声并恢复所有细尺度和显著信息。本文从频率角度解决了这一挑战，并提出了一种新的解决方案，称为频率注意力去噪网络（FADNet）。作者的核心思想是构建一个基于学习的频率注意力框架，充分表征更广泛频率谱上的特征相关性，从而增强网络在多个频率通道上的表示能力。基于此，作者设计了一系列自适应实例残差模块（AIRM）。在每个AIRM中，首先将空间域特征转换到频率空间，然后设计了一个基于学习的频率注意力框架来探索频率域中的特征相互依赖性。此外，作者还引入了一个自适应层，利用估计的噪声图和中间特征的指导来应对噪声差异中的模型泛化挑战。作者的方法在多个真实相机基准数据集上展示了其有效性，具有优越的去噪性能、泛化能力和效率。

关键字

真实照片去噪，频率注意力，神经网络，泛化能力。

方法

整体流程

自适应实例残差模块

 自适应层

所提出的自适应层旨在正则化去噪网络以适应具有不同噪声类型的真实图像。为此，作者构建了一个具有自适应调制模块的自适应层，如图4所示。

 实验