《Pyramid Real Image Denoising Network》阅读笔记

一、论文

《Pyramid Real Image Denoising Network》

摘要—尽管深卷积神经网络（CNN）表现出了出色的建模特定噪声和降噪能力，但它们在现实世界中的噪点图像上仍然表现不佳。 主要原因是现实世界中的噪声更加复杂多样。 为了解决盲降噪问题，本文提出了一个新的金字塔实像降噪网络（PRIDNet），它分为三个阶段。 首先，噪声估计阶段使用通道注意机制来重新校准输入噪声的通道重要性。 其次，在多尺度降噪阶段，利用金字塔池提取多尺度特征。 第三，特征融合阶段采用核选择运算来自适应融合多尺度特征。在两个真实嘈杂照片的数据集上进行的实验表明，在定量测量和视觉感知质量方面，与最新的去噪器相比，我们的方法可以实现竞争性能。

• 通道注意：通道注意机制用于提取的噪声特征，可自适应地重新校准频道重要性。
• 多尺度特征提取：我们设计了金字塔降噪结构，其中每个分支都关注一个尺度的特征。 得益于此，我们可以同时提取全局信息和保留局部细节，从而为后续的全面去噪做好准备。
• 特征自适应融合：在级联多尺度特征中，每个通道代表一个尺度特征。 我们介绍一个内核选择模块。 通过线性组合融合具有不同卷积核大小的多个分支，从而允许通过大小不同的核来表达不同的特征图。

二、网络结构

 A.网络架构

如图2所示，我们的模型包括三个阶段：噪声估计阶段，多尺度降噪阶段和特征融合阶段。 输入的噪点图像按三个阶段依次处理。 由于所有操作在空间上都是不变的，因此它足够健壮，可以处理任意大小的输入图像。为了避免信息丢失，在馈入下一级之前，将第一级的输出与其输入连接起来，然后进入第二级。

B.噪声估计阶段

这个阶段着重于从输入噪声图像中提取判别特征，这被认为是对噪声水平的估计[8]。 我们采用无池和批处理规范化的普通五层全卷积子网，每次卷积后都会部署ReLU。 在每个卷积层中，要素通道的数量设置为32（最后一层除外（1或3）），并且卷积核大小为3×3。在阶段的最后一层之前，插入了通道注意力模块[11]，以明确校准特征通道之间的相互依赖性。 如图3所示，通道权重的集合是我们的目标，它用于重新缩放输入特征图以生成重新校准的特征。 我们首先使用全局平均池（GAP）将U的全局信息压缩到信道描述符中。 然后，紧随其后的是两个完全连接的层（FC），中间层的通道数设置为2。

通道注意模块的最终输出（表示为）是通过

C.多尺度降噪阶段

金字塔池化的概念广泛应用于场景解析[12]，图像压缩等领域。 据我们所知，它从未在图像去噪中使用过。 周等。  [13]表明，CNN的经验接受域要比理论域小得多，尤其是在高层上，这意味着在提取特征时全局信息没有完全整合。 相反，为了消除覆盖整个图像的噪声，将目标块与整个图像中的相似内容相匹配具有很大的帮助。

 为了减轻这个问题，我们开发了一个五层金字塔。通过五种并行方式，将输入特征图下采样为不同大小，从而帮助分支获得相对比例不同的接收场，以同时捕获原始，本地和全局信息。 合并内核分别设置为1×1、2×2、4×4