CBAM通道与空间注意力模块顺序排列性能好的原因

最新推荐文章于 2024-08-10 14:00:00 发布
最新推荐文章于 2024-08-10 14:00:00 发布
阅读量2.1k 收藏 10
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30377909/article/details/105136879
版权

为什么CBAM通道与空间注意力模块顺序排列性能最好

《CBAM–Convolutional Block Attention Module》
《SENet——Squeeze-and-Excitation Networks》
CBAM的核心是结合通道注意力与空间注意力,文章的很多内容也是对比于以通道注意力机制为核心的SENet。

论文中有提到，将通道注意力与空间注意力模块以先通道再空间的顺序排列会得到最好的效果。
在这里插入图片描述

在这里插入图片描述
在通道注意力模块方面，
SENet： 进行了全局平均池化(AvgPool)，
CBAM： 进行了全局平均池化和全局最大池化(AvgPool + MaxPool)。
全局平均池化常用于聚集空间信息，是对整个特征图进行平均池化，一张特征图最终得出一个值。

池化本身是提取高层特征，而不同的池化意味着提取的高层特征更丰富

所以能取得较好性能的原因：
1、由于加入了MaxPool，CBAM通道注意力模块在一定程度上弥补了AvgPool丢失的信息
2、卷积核具有局部性，即它只关注局部特征，局部的程度取决于卷积核的大小。在CBAM中，生成的二维空间注意力图使用卷积核大小为7的卷积层进行编码，选择了较大的卷积核，对保留重要的空间信息有很大帮助

上述的两点原因在这篇论文中也有提到《Attention-yolo:引入注意力机制的YOLO检测算法》

江南小帅瓜hyf
关注
专栏目录
YOLOv5改进 | 注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
03-26 4005
这篇文章给大家带来的改进机制是一个汇总篇，包含一些简单的注意力机制，本来一直不想发这些内容的（网上教程太多了，发出来增加文章数量也没什么意义），但是群内的读者很多都问我这些机制所以单独出一期视频来汇总一些比较简单的注意力机制添加的方法和使用教程，本文的内容不会过度的去解释原理，更多的是从从代码的使用上和实用的角度出发去写这篇教程。欢迎大家订阅我的专栏一起学习YOLO！YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制。
CBAM:Convolutional Block Attention Module--通道+空间混合注意力
冲出仁川，走出马德里，故事还会再继续
08-22 1046
提出了卷积块注意模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图，我们的模块沿两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。==因为 CBAM 是一个轻量级的通用模块，它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。关键词：目标检测，注意力机制，门控卷积。图 1：CBAM 概述。该模块有两个顺序子模块：通道和空间。
CBAM：通道注意力+空间注意力【附Pytorch实现】
AI数据工厂
06-12 1万+
通道注意力+空间注意力，可嵌入在大部分的主流网络中，在不显著增加计算量和参数量的前提下能提升模型的特征提取能力。
【有啥问啥】通道与空间的双重增强的CBAM注意力机制是什么？
最新发布
Chauvin的博客
08-10 1410
通道注意力模块（Channel Attention Module）和空间注意力模块（Spatial Attention Module）。这两个模块分别在通道维度和空间维度上对特征进行增强。通道注意力模块：主要关注特征图中哪些通道（即特征的类别）对最终结果更重要，从而对这些通道赋予更高的权重。空间注意力模块：主要关注特征图中哪些空间位置包含更为关键的信息，从而对这些位置赋予更高的权重。通过这两个模块的逐步处理，CBAM能够细化特征的表达，提高模型的预测能力。
CBAM：融合通道和空间注意力的注意力模块
AI公园
11-01 2万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Sik-Ho Tsang编译：ronghuaiyang导读使用CBAM加持的MobileNetV1，ResNeXt&amp...
深度网络的设计技巧(四)之CBAM：通道注意力与空间注意力
wqthaha的专栏
07-02 5701
不少纯CNN架构借助Transformer的设计思想也能表现良好。而在纯CNN的时代里，以卷积运算为基础的模块在关注其他维的注意力上如通道注意力、空间注意力等。这篇文章回顾经典，通道注意力和空间注意力，哪个先关注呢？......
CBAM 通道注意力 & 空间注意力机制
m0_46646835的博客
09-28 2万+
CBAM（Convolutional Block Attention Module）一种轻量的注意力模块，可以在空间和通道上进行注意力机制，沿着通道和空间两个维度推断出注意力权重系数，然后再与feature map相乘，CBAM的结构如下： 包含两个模块：通道注意力模块和空间注意力模块，两个注意力模块采用串联的方式。 1.通道注意力模块 通道注意力是关注哪个通道上的特征是有意义的，输入feature map是H x W x C，先分别进行一个全局平均池化和全局最大池化得到两个1 x 1 x C的featu
注意力CBMA到底在网络中做了什么事
SoyBean
11-23 7059
注意力CBAM到底在网络中做了什么事 CBMA网络架构 通道注意力 空间注意力： 分析 通道注意力： 1.将特征图进行最大池化和平均池化 ​ SENet也使用了通道注意力， 但SENet只采用了平均池化，没有采用最大池化。作者加入了最大池化的原因，在论文中写到是因为在实验中发现加入了最大池化效果更好，或许是因为加入了最大池化获取的信息更丰富。最大池化和平均池化都是global级的，因此相当于一个通道上所有的特征图会压缩成一个像素的特征，n个通道对应n个像素的特征。 2.
特征图注意力_CBAM：卷积块注意力模块
weixin_39570838的博客
10-25 1334
---ECCV2018论文地址​arxiv.org该论文来自ECCV2018。提出了卷积块注意力模块(CBAM)，这是一种简单有效的卷积神经网络注意模块。在给定一个中间特征图（intermediate feature map）的情况下，我们的模块沿着通道和空间两个单独的维度依次生成注意力映射，然后将注意图乘到输入特征图中进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何...
YOLOv8改进 | 注意力篇 | 一文带你改进GAM、CBAM、CA、ECA等通道注意力机制和多头注意力机制
Snu77的博客
03-22 1万+
官方论文地址：官方论文地址点击此处即可跳转官方代码地址：官方代码地址点击此处即可跳转GAM旨在通过设计一种机制，减少信息损失并放大全局维度互动特征，从而解决传统注意力机制在通道和空间两个维度上保留信息不足的问题。GAM采用了顺序的通道-空间注意力机制，并对子模块进行了重新设计。具体来说，通道注意力子模块使用3D排列来跨三个维度保留信息，并通过一个两层的MLP增强跨维度的通道-空间依赖性。
CBAM: 卷积块注意模块
qq_40107571的博客
10-29 782
CBAM: 卷积块注意模块
CBAM注意力机制(结构图加逐行代码注释讲解）
这个博主不懒，但Ta什么也没写~（私信互关24小时必回）
11-19 8629
CBAM注意力机制
【目标检测】(9) 改进PANet特征提取金字塔，附Tensorflow完整代码
博观而约取，厚积而薄发
04-04 4888
各位同学好，今天和大家分享一下如何使用 注意力机制 和深度可分离卷积 优化 YOLOV4 的 PANet 特征金字塔。看本篇博客之前，建议大家先看以下几篇： YOLOV4主干网络：https://blog.csdn.net/dgvv4/article/details/123818580 混合域注意力机制：https://blog.csdn.net/dgvv4/article/details/123888724 轻量化网络：https://blog.csdn.net/dgvv4/article/det.
Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)
落了一地秋的博客
08-16 3万+
Attention机制理解笔记声明Attention分类(主要SA和CA)spitial attentionchannel attentionSA + CA(spitial attention+channel attention)加强SA+CA理解空间注意力机制和通道注意力机制解释attention机制Attention模型架构1.空间注意力模型(spatial attention)2.通道注意力机制3.空间和通道注意力机制的融合CBAM 和 BAMBLOG1的笔记重点及总结BLOG2重点看下这篇文章BAM
视觉 注意力机制——通道注意力、空间注意力、自注意力
DUT_LYH
03-26 3781
注意力机制的进一步研究，包括新的注意力机制的提出和现有注意力机制的改进。注意力机制与其他技术的结合，例如生成对抗网络（GAN）和强化学习。注意力机制在更多任务中的应用，例如语音识别和自然语言处理。注意力机制的计算复杂度较高，如何在保证性能的同时降低计算量。注意力机制的解释性较差，如何提高注意力机制的可解释性。注意力机制在实际应用中的泛化能力，如何提高注意力机制在实际应用中的泛化能力。
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 8万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
CBAM：Convolutional Block Attention Module
qq_38680752的博客
11-02 3204
摘要         我们提出卷积块注意模块(CBAM)，一个简单而有效的前馈卷积神经网络的注意模块。给定一个中间特征图，我们的模块沿着两个独立的维度（通道和空间）依次推断注意力图，然后将注意力图乘以输入特征图，以进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝集成到任何CNN架构中，开销可以忽略不计，并且可以与基本CNN一起进行端到端训练。我们通过在ImageNet-1K、MS COCO检测和VOC 2007
SENet
Major_S的博客
03-03 1848
SENet
什么是注意力机制？
麦地与诗人
08-03 1万+
Attention机制在近几年来在图像，自然语言处理等领域中都取得了重要的突破，被证明有益于提高模型的性能。 Attention机制本身也是符合人脑和人眼的感知机制，这次我们主要以计算机视觉领域为例，讲述Attention机制的原理，应用以及模型的发展。 何为Attention机制？ 所谓Attention机制，便是聚焦于局部信息的机制，比如，图像中的某一个图像区域。随着任务的变化，注意力区域往往...
CBAM中空间注意力模块
07-14
CBAM（Convolutional Block Attention Module）中的空间注意力模块用于增强模型对空间维度的特征关注。...空间注意力模块可以与通道注意力模块结合使用，形成CBAM模块，共同增强模型的特征表示能力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值