论文Attention-guided CNN for image denoising解读

最新推荐文章于 2024-03-19 00:03:39 发布
最新推荐文章于 2024-03-19 00:03:39 发布
阅读量1.2k 收藏 19
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 神经网络 人工智能 ai attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36465540/article/details/116214833
版权

文章目录

1. 论文简介

该论文介绍了一个注意力引导的降噪卷积神经网络（ADNet）。该网络主要包括4个模块，分别是稀疏模块（sparse block，SB），特征提升模块（feature enhancement block， FEB），注意力模块（ attention block，AB），重构模块（reconstruction
block，RB）。其中，SB模块通过将空洞卷积和普通卷积结合的方式删除噪声，平衡输出图片效果和运行效率。FEB模块通过集成全局和局部的特征信息优化模型。AB模块用来提取隐藏在复杂背景中的噪声，该模块对于处理复杂噪声图片（如真实噪声图片）是十分有效的。RB模块通过求得的噪声和原始图片重构出无噪声的图片。多重实验证明该模型在合成噪声图片、真实噪声图片和盲去噪任务下都能得到较好的定量和定性结果。

2. 模型结构分析

1) 网络架构

在这里插入图片描述
上图清晰地显示了模型中的四个模块。可以看到该模型一共有17层卷积，其中SB中12层，FEB中4层，AB中1层。设 IN 为输入的噪声图片，IR 为预测的残差图片（也可以称为噪声映射图片），则该模型关系如下：
OSB = fSB(IN)
其中OSB是SB模块的输出，fSB是SB模块的函数，IN是输入的噪声图片。
OFEB = fFEB(IN, OSB)
其中OFEB是FEB模块的输出，fFEB是FEB模块的函数。这里就可以看出来FEB模块处理时，不仅使用了上一个模块输出的结果，还使用了原始含噪图像的信息。上一个模块输出的结果是局部信息，而原始图片信息其实就是全局信息。这就和概述中FEB的作用对应上了。
IR = fAB(OFEB)
fAB是AB模块的函数。
ILC = IN - IR = IN - fAB(fFEB(IN, fSB(IN))) = IN - fADNet(IN)
*ILC是预测的去噪图片。

2) 损失函数

在这里插入图片描述
ADNet模型应用了退化方程 y = x + v ，经过上面的介绍我们知道，ADNet其实是一个预测残差图片的模型。那么这里就使用 v = y - x 来计算真实残差。也就是 INi - ICi ，即输入的第 i 个含噪的原始图片减去第 i 个不含噪的对应图片，得到真实的残差图片。再使用 fADNet(INi) 计算得出预测的第i个图片的残差图片。预测值减去真实值，计算L2损失函数。

3) Sparse block(SB)模块分析

OSB = R(B(D(CBR(CBR(R(B(D(CBR(CBR(CBR(R(B(D(CBR(CBR(R(B(D(CBR(IN )))))))))))))))))))).
OSB代表SB模块的输出，R代表ReLU激活函数，B代表BN，D代表空洞卷积，DBR代表Conv+BN+ReLU。

作用：利用稀疏性，解决利用过深的网络训练模型，计算量过大的问题。

分析：
作者引用论文指出稀疏性有助于图片分析。因此提出建立一个稀疏模块SB。这里的稀疏性就体现在该模块的卷积并不单一，而是将空洞卷积和普通卷积结合，按照一定顺序排列。

该模块一共有12层卷积，其中只有2种卷积类型，分别是： dilated Conv+BN+ReLU 和
Conv+BN+ReLU。其中空洞卷积在第2、5、9、12层，其他层是普通卷积。普通卷积层数大于空洞卷积层数，是因为这样排列能提高性能还能降低模型的复杂性。
这里作者做了实验判断了空洞卷积层处在不同位置或应用不同数量时取得的噪声率峰值。
在这里插入图片描述

上面表格中变量解释
PSNR表示噪声率的峰值信号(peak signal to noise ratio)，值越大，效果越好。
SB with extended layers表示文中的SB模块，空洞卷积在2、5、9、12层。
EHE with extended layers空洞卷积在2、5、8、11层，刚好每2个空洞卷积间隔3层普通卷积层。
SHE with extended layers空洞卷积在2、3、4、5层，是连续的空洞卷积。
ADC with extended layers所有12层都是空洞卷积层。
CB所有12层都是常规卷积层

可以看到SB的卷积层分布方式是效果最好的。这里我感觉作者也是一个一个试出来的，因为他也没说出个所以然为什么这种分布是最好的。

此外作者也比较了SB with extended layers和ADC with extended layers两种情况下不同大小噪声图片的运行时间，结果如下表所示，SB模块各种情况下运行时间都更短。
在这里插入图片描述
由于空洞卷积有更大的感受野，因此这些空洞卷积层被认为是high energy points。而其他的普通卷积层被认为是low energy points。high energy points和low energy points结合就可以认为是表现了稀疏性。
12个卷积层的卷积核大小都是 3 × 3，第1个卷积层的输入通道数是c，也就是说，输入图片是彩色图片时c=3，否则c=1。2 - 12层的输入和输出都是64。

3) Feature enhancement block(FEB)模块分析

OFEB = T (Cat(C(CBR(CBR(CBR(OSB)))), IN ))
OFEB代表FEB模块的输出，T代表Tanh激活函数，Cat代表拼接操作，C代表Conv，IN是输入图片。

作用：提升模型表达效果。

构成：
FEB模块有4层卷积，分别是3层 Conv+BN+ReLU和1层Conv。13-15层是Conv+BN+ReLU卷积层，过滤器大小是 64 × 3 × 3 × 64。16层是普通卷积，过滤器大小是 64 × 3 × 3 × c（c值和SB中的c值一样）。
FEB中的Cat不是下面那个"Cat"，而是拼接操作。该操作是将16层的输出结果和最开始输入模型的含噪图片拼接起来，从而提升该模型的效果。
Tanh为激活函数。

3) Attention block(AB)模块分析

作用：利用注意力机制，解决图片背景过于复杂隐藏图片本身特征的问题。

当图片有复杂的背景时，背景会掩盖图像的特征，给训练造成困难。文中作者提出AB模块来解决该问题。
AB模块中卷积为2c × 1 × 1 × c。

AB通过以下两步实现注意力机制：
1 使用 1 × 1的卷积将提取的特征压缩成一个向量，向量的值作为调整前面步骤的权重，从而提升降噪效率。
2 利用获取的权重乘以第16层（也就是FEB模块的Conv层）输出的结果，从而提取更主要的噪声信息。

3) Reconstruction block(RB)模块分析

利用残差重构去噪图像。
ILC = IN - IR = IN - fAB(fFEB(IN, fSB(IN))) = IN - fADNet(IN)

3. 实验

实验使用了多种数据集，下面贴出对应定性、部分定量结果。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

爱全栈的工程师
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
代码实现——注意力引导的CNN图像去噪（Attention-guided CNN for image denoising）
sf_qw39的博客
03-28 5377
今天给大家带来一篇注意力引导的CNN图像去噪文章《Attention-guided CNN for image denoising》。我用tensorflow的实现版本可以在我的github上找到。传送门：https://github.com/sun126/ADNet。 整体的网络结构如下图： 主要分为四个部分：SBNet，FEBNet，ABNet，RBNet。 SBNet：是由CBR（...
Attention-Guided Hierarchical Structure Aggregation for Image Matting
IT_Herven的博客
06-29 499
Attention-Guided Hierarchical Structure Aggregation for Image Matting Abstract 现有的基于深度学习的抠图算法主要依靠高级语义特征来改善alpha mattes的整体结构，作者认为应该将高级语义信息与低级外观线索相协调，以细化前景细节 提出一种端到端的分层注意力抠图网络(HAttMatting)，它可以在没有额外输入的情况下从单个RGB图像中预测更好的alpha mattes结构 具体来说，作者利用空间和通道方向的注意力，以一种新
图像去噪论文 Attention Guided CNN for Image Denoising
ydd的博客，记录生活
10-12 5910
Attention-guided CNN for image denoising 发表期刊 ： Neural Networks 124 (2020) 117–129 https://doi.org/10.1016/j.neunet.2019.12.024 Paper and Code Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/ 摘要： 提出一种注意力导向的去噪卷积神经网络（ADNet），主要包括稀疏块（SB），特征增强块（FEB），注意力块（AB）和重构块
Attention-guided CNN for image denoising.pptx
02-26
深度卷积神经网络(CNNs)在低层次计算机视觉领域引起了广泛的关注。通过很深的CNN网络来提高性能。但随着深度的增加，浅层的信息被忽略掉。受这样的事实启发，我们提出了一种基于注意引导的卷积神经网络(ADNet)去噪方法，主要包括一个稀疏块(SB)、一个特征增强块(FEB)、一个注意块(AB)和一个重构块(RB)。
Attention-guided Context Feature Pyramid Network for Object Detection
qq_52302919的博客
03-03 2102
在目标检测中，如何解决高分辨率输入条件下特征图分辨率与感受野之间的矛盾仍然是一个有待解决的问题。为了解决这一问题，作者提出了注意引导的上下文特征金字塔网络(AC- FPN)，该网络通过整合注意引导的多路径特征来利用来自不同感受野的判别信息。该模型包含两个模块。
Unsupervised-Attention-guided-Image-to-Image-Translation-master.zip
12-15
Current unsupervised image-to-image translation techniques struggle to focus their attention on individual objects without altering the background or the way multiple objects interact within a scene. Motivated by the important role of attention in human perception, we tackle this limitation by introducing unsupervised attention mechanisms which are jointly adversarially trained with the generators and discriminators. We empirically demonstrate that our approach is able to attend to relevant regions in the image without requiring any additional supervision, and that by doing so it achieves more realistic mappings compared to recent approaches.
Self-Guided-Network-for-Fast-Image-Denoising:ICCV 2019论文SGN的PyTorch实施
05-07
培训策略与论文相同。 您可以使用以下脚本对自己的数据进行训练（请注意，您需要修改数据集路径）： cd SGN python train.py or sh zyz.sh 测验 我使用ILSVRC2012验证集对4个NVIDIA TITAN Xp GPU进行了培训，并在1...
Multi-scale self-guided attention for medical image segmentation.pdf
05-24
Multi-scale self-guided attention for medical image segmentation.pdf
Self-Guided and Cross-Guided Learning for Few-Shot Seg.pptx
11-24
【标题】：“Self-Guided and Cross-Guided Learning for Few-Shot Segmentation”指的是在小样本分割场景下，利用自我引导和交叉引导学习策略提升模型的分割性能。 【描述】：这篇论文主要讨论的是如何在小样本...
阅读论文《Attention-guided Network for Ghost-free High Dynamic Range Imaging》
Najlepszy的博客
04-29 2844
其实Attention就是一个map……整体思路就是用多张不同曝光度的图像来合成HDR图片，合成思路和ECCV 2018的《Deep High Dynamic Range Imaging with Large Foreground Motions》巨像然后加个Attention……啊呀…… 其实从SR中找思路也是个不错的选择。 效果图如下： 之前的问题是无法解决large motion和satu...
[论文笔记] (CVPR2019) Attention-guided Unified Network for Panoptic Segmentation
Holeung blog
08-04 1510
[论文笔记] (CVPR2019) Attention-guided Unified Network for Panoptic Segmentation
论文笔记35：3DADNet: Hyperspectral Image Denoising Using a 3-D Attention Denoising Network
Hermite Lee的博客
01-24 703
我们设计了两个并行的分支来分别处理空间和光谱信息。位置注意力模块应用于空间分支，以在特征映射上形成相互依赖性，而通道注意力模块应用于光谱分支，以在两个分支组合之前模拟光谱相关性。在融合空间和光谱信息后，多尺度结构也被用来提取和融合多尺度特征。
【论文阅读笔记】Split frequency attention network for single image deraining
最新发布
qq_46056318的博客
03-19 1006
用于单幅图像去噪的分频注意力网络PaperCode2023年 SIVP雨纹对图像质量的影响极大，基于数据驱动的单图像去噪方法不断发展并取得了巨大的成功。然而，传统的卷积神经网络只能隐式地对频域特征进行建模，而离散余弦变换（DCT）可以看作是对频域特征的显式建模。因此，我们提出了一种分裂频率注意力，以改善内部相关性的输入特征在频域的DCT。我们选择前K个低频分量作为DCT层的输出，在频域恢复出高质量的图像，而分裂机制使网络聚焦于信息丰富的区域，保持了恢复图像细节的保真度。
Attention机制学习记录（三）
pengxiang1998的博客
10-22 1314
通过Query和存储器内元素Key的地址进行相似性比较来寻址，之所以说是软寻址，指的不像一般寻址只从存储内容里面找出一条内容，而是可能从每个Key地址都会取出内容，取出内容的重要性根据Query和Key的相似性来决定，之后对Value进行加权求和，这样就可以取出最终的Value值，也即Attention值。Attention机制的具体计算过程，如果对目前大多数方法进行抽象的话，可以将其归纳为两个过程：第一个过程是根据Query和Key计算权重系数，第二个过程根据权重系数对Value进行加权求和。
【网络结构】注意力机制Attention block
weixin_41798111的博客
04-17 3191
CSDN：https://blog.csdn.net/qq_40027052/article/details/78421155#t0 计算机视觉中的Attention：https://zhuanlan.zhihu.com/p/32928645 图像识别：基于位置的柔性注意力机制:https://zhuanlan.zhihu.com/p/33158614 数字串识别：基于位置的硬性注意力机制:...
注意力机制新思路！频域+Attention，精度超SOTA22.6%
学姐带你玩AI的博客
03-18 4001
是一种创新的网络设计方法，它利用频域分析来增强特征提取过程，并通过注意力机制进一步优化特征的利用效率。这种策略有助于模型捕捉和利用信号中的关键频率成分，FcaNet是一种非常巧妙的通道注意力机制，从频域的角度出发，采用DCT对SE进行了扩展。这种方法简洁而高效，仅需对原有代码进行微小的改动，即能实现相较于SENet50模型1.8%的性能提升。因此，频域与Attention的结合也是深度学习中的一个热门方向，并且由于我们以往对频域的关注较少，可挖掘的创新点很多。本文分享。
两种特征图self-Attention-block上算法差异的个人见解
mahuateng的博客
09-08 666
本篇纯个人见解，如有错误请指出 文章素材及资料来源 【极市】李夏-语义分割中的自注意力机制和低秩重建[https://www.bilibili.com/video/BV11E411y7Dr] 流程图 左为NonLocal,右为A^2，其中N代表特征图中的像素数目，C代表channel数，HW为高宽，我们都知道C的数量一定是远小于N的数量的，K代表种类 由于矩阵的乘法结合律，这两种算法计算出来的信息是差不多的 对比两个都计算复杂度，左边的复杂度相当于是NNC，右边为NCC NonLocal Q与K叉乘 对
Attention机制论文（Convolutional Block Attention Module）理解
jiaken2660的专栏
07-01 819
1. Attention机制很多，比较有代表的有： SENet, 2017年ImageNet分类上的冠军，属于通道注意力机制。 Google DeepMind提出的STN网络(Spatial Transformer Network），属于空间注意力机制。 Google 的Attention is all your need。 CBAM,也就是本篇论文，作者将通道注意力机制和空间注意力机制结合起来。 2. 作者给出的贡献主要有： 1. We propose a simple yet effectiv
CABNet论文学习笔记
mengfanfan1的博客
08-10 1991
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习..
attention-guided cnn for image denoising, neural networks
09-03
《Attention-guided CNN for image denoising》是一种用于图像去噪的神经网络模型。它基于卷积神经网络（CNN）的基本架构，但引入了注意力机制来提高去噪的效果。 在传统的CNN中，输入图像经过一系列卷积和池化操作，通过多个卷积层和全连接层进行特征提取和分类。然而，在图像去噪任务中，图像中不同区域的噪声水平可能不同，因此传统的CNN在对整个图像进行处理时可能无法有效地去噪。 为了解决这个问题，注意力机制被引入到CNN中。注意力机制可以将网络的注意力集中在图像的不同区域，以便更有针对性地去噪。该模型通过引入注意力模块，在每个卷积层之后对特征图进行处理，以增强重要区域的特征表示。这种注意力机制能够在去噪任务中更好地保留图像的细节和边缘，提高去噪效果。 具体来说，注意力模块通过学习图像的空间注意力和通道注意力来选择性地加权特征图。空间注意力用于选择特征图中的重要区域，而通道注意力用于选择特征图中的重要特征通道。通过这种方式，网络可以更加自适应地选择图像中重要的特征表示，从而更好地去除噪声。 实验证明，使用注意力机制的CNN模型在图像去噪任务上具有更好的性能。它在不同的噪声水平和噪声类型下都能够有效地去噪，并且能够保持图像的细节和结构。因此，这个注意力引导的CNN模型在图像去噪任务中具有一定的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值