图像去噪论文 Attention Guided CNN for Image Denoising

Attention-Guided CNN for Image Denoising

发表期刊 ： Neural Networks 124 (2020) 117–129 https://doi.org/10.1016/j.neunet.2019.12.024
Paper and Code

image denoising 系列2：DnCNN图像去噪方法介绍

找paper搭配 Sci-Hub 食用更佳 (๑•̀ㅂ•́)و✧
Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/
公益科研通文献求助：https://www.ablesci.com/

Abstract： 提出注意力导向的去噪卷积神经网络（Attention-guided Denoising Net, ADNet），主要包括稀疏块（Sparse Block），特征增强块（Feature Enhancement Block），注意力块（Attention Block）和重构块（Reconstruction Block）图像降噪。

SB通过使用扩张卷积和普通卷积来去除噪声，从而在性能和效率之间进行权衡。
FEB通过很长的路径集成了全局和局部特征信息，以增强去噪模型的表达能力。
AB用于精细提取隐藏在复杂背景中的噪声信息，对于复杂的噪点图像（真实噪点图像）和盲去噪非常有效。此外，FEB与AB集成在一起，可提高效率并降低训练降噪模型的复杂度。
RB旨在通过获得的噪声映射和给定的噪声图像来构造清晰图像。
ADNet在三个任务（合成、真实的噪点图像以及盲降噪）中均表现出色。

具体而言，ADNET的网络架构的设计在图像去噪的性能和效率之间遵循。为了提高性能，使用三个块（即，SB，FEB和AB）来消除不同观点的噪声。 SB使用扩张和标准卷积来扩大接受场大小以改善去噪性能。 FEB通过长路径集成了ADNET的全局和本地特征，以增强图像去噪的表达能力。 AB可以快速捕捉隐藏在复杂背景中的关键嘈杂功能，以实现复杂的嘈杂任务，例如真正的嘈杂图像和盲目的去噪。为了提高效率，有三个阶段：首先，SB有助于ADNet获取浅网络架构。其次，FEB压缩了第十六层的输出为C。第三，AB使用1×1的卷积滤波器来减少参数的数量。

Contributions：
（1）提出了由扩张卷积和普通卷积组成的SB，用于减小深度以提高去噪性能和效率。
（2）FEB使用长路径融合来自浅层和深层的信息，增强去噪模型的表达能力。
（3）AB用于从给定的噪点图像中深度挖掘隐藏在复杂背景中的噪声信息，例如真实的噪点图像和盲降噪。
（4）FEB与AB集成在一起，可以提高效率并降低训练降噪模型的复杂度。
（5）在六个基准数据集上，ADNet在合成和真实噪点图像以及盲降噪方面均优于最新技术（2020）。

17层的ADNet由四个块组成，分别是SB，FEB，AB和RB。 12层稀疏块SB用于增强图像去噪的性能和效率。

loss function：MSE 均方差和clean-noise图像对

SB：
12层SB包括两种类型:dilated Conv+BN+ReLU和Conv+BN+ReLU。
dilated Conv+BN+ReLU表示扩张率为2的卷积，BN 和激活函数ReLU 是相连的。
另一种是 Conv，BN和ReLU 相连。
dilated Conv+BN+ReLU位于SB的第二、第五、第九和第十二层（图1中紫色），这些层可以视为高能点。
Conv+BN+ReLU在第一、第三、第四、第六、第七、第八、第十和第十一层（图1中绿色），为低能点。

1–12层的卷积滤波器大小为3 × 3。第一层的输入是c：输入噪声图像的通道数。2–12层的输入和输出为64。几个高能量点和几个低能量点的组合可以认为是稀疏性。

稀疏块的实现转换为公式 6，D代表扩张卷积的函数。R和B分别代表ReLU和BN。CBR是Conv+BN+ReLU的函数。根据前面的描述，用下面的等式来表示SB。
$$O^{SB}=R(B(D(CBR(CBR(R(B(D(CBR(CBR(CBR(R(B(D(CBR(CBR(R(B(D(CBR(I^N))))))))))))))))))))（6）$$
FEB：（深层网络可能会受到浅层的弱化影响）
FEB通过一条长路径充分利用全局和局部特征来挖掘更鲁棒的特征，这与SB在处理给定噪声图像方面是互补的。

4层FEB由三种类型组成:Conv+BN+ReLU、Conv和Tanh，其中Tanh是activate function。Conv+BN+ReLU在13–15层，filter size=64×3×3×64。Conv用于第16层，ilter size=64×3×3×c。第17层使用concatenation operation来融合输入的噪声图像和第16层的输出，以增强去噪模型的表示能力。

因此，最终输出尺寸为64×3×3× 2c。此外，Tanh用于将获得的特征转换成非线性。该过程如公式7 描述解释。$$O^{FEB}=T(Cat(C(CBR(CBR(CBR(O^{SB})))),I^N))（7）$$其中C、Cat和T分别是卷积、级联和Tanh的函数。在图1中，Cat用于表示连接的功能。此外，OFEB也用于AB。

AB：（复杂的背景很容易隐藏图像和视频应用的特征）
AB利用当前阶段指导前一阶段学习噪声信息，对于未知噪声图像，即盲去噪和真实噪声图像非常有用。

1层AB仅包括一个Conv，其大小为2c × 1 × 1 × c，其中c是给定损坏图像的通道数。

AB利用以下两个步骤来实现注意机制。第一步使用来自第17层的大小为1 × 1的卷积将获得的特征压缩成向量作为调整前一阶段的权重，这也可以提高去噪效率。

第二步利用获得的权重乘以第16层的输出，以提取更显著的噪声特征。其过程可以转换为以下公式。

Training datasets：
训练数据集使用伯克利分割数据集(BSD)的400幅大小为180 × 180的图像和滑铁卢勘探数据库的3,859幅图像来训练高斯合成去噪模型。

图像的不同区域包含不同的详细信息，因此将训练噪声图像分成大小为50 × 50的1,348,480个小块，有助于促进更鲁棒的特征并提高训练去噪模型的效率；

缺点是噪音在现实世界中是变化的和复杂的。基于这个原因，使用来自基准数据集(徐，李，梁，张，&张，2018)的100幅尺寸为512 × 512的真实噪声图像来训练真实噪声去噪模型。为了加快训练速度，100幅真实噪声图像也被分成211,600个大小为50 × 50的小块。

此外，上面的每个训练图像从八种方式中随机旋转一种方式:原始图像，90♀，180♀，270♀，原始图像自身水平翻转，90♀，自身水平翻转，180♀，自身水平翻转，270♀，自身水平翻转。

测试数据集：
通过6个数据集，即BSD68，Set12，CBSD68 ，Kodak24，McMaster和cc ，分别由68，12，68，24，18和15幅图像组成，来评估ADNet的去噪性能。BSD68和Set12是灰色图像。其他数据集是彩色图像。BSD68和CBSD68的场景是一样的。真实噪声的cc数据集是从三个不同的相机采集的，每个真实噪声图像的大小是512 × 512。