二维码图像去噪文献调研(1)--Real Image Denoising with Feature Attention

简介

（1） 论文（包括期刊和发表时间）：
Real Image Denoising with Feature Attention（ICCV 2019）
（2） 论文链接：
https://arxiv.org/pdf/1904.07396.pdf
（3）源代码链接：
https://gitee.com/wangmingMY/RIDNet/tree/master/TestCode/code

主要idea

深度卷积神经网络在含有空间不变噪声(合成噪声)的图像上表现更好;然而，它们的性能在真实的噪声照片上存在局限，需要多阶段的网络建模。为了提高去噪算法的实用性，本文提出了一种采用模块化结构的一阶段盲真图像去噪网络(RIDNet)。作者利用残差结构上的残差来缓解低频信息的流动，并利用特征注意来挖掘信道的相关性。

• 提出基于CNN的真实图像去噪方法，采用两阶段模型;提出的第一个模型，提供了最先进的结果，只使用一个阶段；
• 该模型是第一个在去噪中加入特征注意的模型；
• 目前大多数模型的是连续连接的;因此，增加深度并不能帮助提高性能。同样，这样的网络也会受到梯度消失的影响。同时提出了一个模块化网络，其中增加模块的数量有助于提高性能；
• 在三个合成图像数据集和四个真实图像噪声数据集上进行了实验，表明此模型在合成图像和真实图像的定量和定性上都达到了最新的水平。

网络结构-RIDNet：

网络结构主要包含特征提取、4个EAM组成的残差模型、重建。
其中EAM的结构：

1. 两个空洞卷积分支，用来增大感受野（receptive field），然后拼接加上一个卷积融合
2. 两个类似残差学习结构，用来进行特征提取
3. 通道注意力机制：
   
   损失函数-MAE：
   $$L(W)=\frac{1}{N}\sum _{i=1}^N||RIDNet(x_i)-y_i|{|}_1,$$
   其中：$W$表示一组学习的所有网络参数，$N$代表已经给出$n$个训练样本对，$RIDNet$是文中作者使用的网络，$x$代表噪音输入，$y$代表真实输入。

实验简介

1.数据集：四个嘈杂的现实世界数据集和合成噪声数据集
（1）RNI15：提供15张真实的嘈杂图像。 不幸的是，没有为此提供干净的图像
数据集。因此，只有定性比较此数据集并呈现。
（2）DND：包含11个静态场景和通过以下方法获得的相应无噪声图像：同一场景的500张嘈杂图像。该数据集尺寸是巨大的；因此，作者裁剪了图像512×512色块，并从中随机选择110张图片用于测试。
（3）Nam：其中最初包含50对真实世界的噪音和无噪音的场景。 场景被进一步裁剪为提供者提供的512×512大小的补丁产生1000张较小图像的数据集。
（4）SSID：作者已收集了3万张实时图像及其相应的清晰图像。但是，仅发布了320张图像进行训练和1280张图像对用于验证
（5）三个合成噪声数据集从广泛使用的12幅经典图像、其中BSD68彩色和灰度68图像中用于测试。
2.实验方案设计：
（1）为了生成有噪声的合成图像，作者使用BSD500[44]、DIV2K[4]和MIT-Adobe FiveK[15]生成4k图像，而对于真正有噪声的图像，作者使用来自SSID、Poly和RENOIR的512×512裁剪补丁。对训练图像进行数据增强，包括90◦，180◦，270◦随机旋转和水平翻转。在每个训练批中，提取32个patch作为输入，大小为80 × 80。使用Adam[36]作为具有默认参数的优化器。学习速率最初设置为10−4，然后在105次迭代后减半。该网络在Pytorch框架中实现，并使用Nvidia Tesla V100 GPU进行训练。此外，使用PSNR作为评价指标。
（2）进行Ablation Studies（去除模型或算法的某些“特征”，并观察其对性能的影响。）其中分为两方面：跳跃连接的影响和功能关注。
第一方面：跳过连接在该网络中起着至关重要的作用。文中演示了跳跃连接的有效性。其模型由三种基本类型的连接组成，包括长跳接连接(LSC)、短跳接连接(SSC)和本地连接(LC)。表中显示了BSD68数据集的平均PSNR。当所有跳过连接都可用时，性能最高，而当没有任何连接时，性能较低。同时还观察到，在没有跳过连接的情况下增加网络深度对性能没有好处。
第二方面：该网络的另一个重要方面是功能关注。表中比较了有和没有特征注意的网络的PSNR值。结果支持了作者关于使用特征注意的好处的说法。自DnCNN成立以来[63]，CNN模型已经成熟，进一步的性能改进需要仔细设计块和feature maps的重新调节。这两个特征在论文中以模型中以特征-注意和跳跃连接的形式出现

（3）作者评估算法使用峰值Signalto-Noise比率(PSNR)指数的误差度量和比较对许多先进的竞争算法,包括传统方法即CBM3D , WNNM , EPLL , CSF和CNN-based denoisers即MLP。TNRD, DnCNN, IrCNN , CNLNet ,FFDNet和CBDNet。为了比较公平，本文作者使用其他相关作者提供的传统方法的默认设置。
（4）在三个合成图像数据集和四个真实图像噪声数据集上进行了实验，表明此模型在合成图像和真实图像的定量和定性上都达到了最新的水平。其中部分效果如图：

实验结果

输入1：

输出1：

输入2：

输出2：

输入3：

输出3：

输入4：

输出4：