CBAM (Convolutional Block Attention Module)注意力机制详解

最新推荐文章于 2025-04-17 11:01:01 发布
最新推荐文章于 2025-04-17 11:01:01 发布
阅读量1.8k 收藏
点赞数 15
分类专栏： 深度学习算法详解及代码复现 文章标签： 深度学习 python 神经网络 人工智能 算法 conda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/noboxihong/article/details/144952694
版权

定义与起源

CBAM (Convolutional Block Attention Module) 是一种专为卷积神经网络(CNN)设计的注意力机制， 旨在增强模型对关键特征的捕捉能力 。这一创新概念首次出现在2018年的研究论文《CBAM: Convolutional Block Attention Module》中。CBAM的核心思想是在通道和空间两个维度上进行注意力分配，通过 通道注意力模块(CAM)和空间注意力模块(SAM) 的组合，实现了对输入特征的全面分析和重新加权。

这种方法不仅提高了模型的性能，还增强了其解释性，使网络能够更加聚焦于识别目标物体的关键区域。CBAM的设计巧妙地平衡了性能和计算效率，在多种视觉任务中展现出了显著的效果提升。

核心思想

CBAM的核心思想在于通过 双重注意力机制 来全面提升卷积神经网络的特征提取能力。这种创新的设计理念巧妙地结合了 通道注意力 和 空间注意力 ，使得模型能够从两个关键维度对输入特征进行全面分析和重新加权。

CBAM的核心思想体现在以下几个方面:

  1. 通道注意力机制 ：通过全局池化和多层感知机(MLP)，CBAM能够自适应地学习每个通道的重要性权重，从而实现对不同

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CBAM:Convolutional Block Attention Module--通道+空间混合注意力
冲出仁川，走出马德里，故事还会再继续
08-22 1242
提出了卷积块注意模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图，我们的模块沿两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。==因为 CBAM 是一个轻量级的通用模块，它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。关键词：目标检测，注意力机制，门控卷积。图 1：CBAM 概述。该模块有两个顺序子模块：通道和空间。
ResNet改进(3)：添加CBAM轻量级的注意力机制模块
2401_82355416的博客
03-12 542
它通过引入通道注意力和空间注意力机制，使网络能够自适应地关注重要的特征通道和空间区域。CBAM 由通道注意力模块（Channel Attention Module, CAM）和 空间注意力模块（Spatial Attention Module, SAM）组成，可以无缝集成到现有的 CNN 架构中。CBAM 是一种简单而有效的注意力机制模块，通过通道注意力和空间注意力的结合，显著提升了 CNN 的特征表示能力。输入：特征图 F∈R（C×H×W），其中 C 是通道数，H 和 W 是空间维度。
【卷积神经网络系列】十八、CBAM
traveller的博客
09-28 1614
CBAM
CBAM(基于卷积块的注意机制): Convolutional Block Attention Module
修行之路
05-29 1266
CBAM(基于卷积块的注意机制): Convolutional Block Attention Module
CBAM: Convolutional Block Attention Module
u013049912的博客
10-21 2153
我们提出了卷积块注意力模块（CBAM），这是一种用于前馈卷积神经网络的简单而有效的注意力模块。给定中间特征图，我们的模块沿着两个独立的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。由于 CBAM 是一个轻量级通用模块，因此它可以无缝集成到任何 CNN 架构中，且开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。我们通过在 ImageNet-1K、MS COCO 检测和 VOC 2007 检测数据集上进行大量实验来验证我们的 CBAM。
CBAM注意力机制详解与实现
weixin_52603404的博客
02-28 6229
在深度学习领域，注意力机制已成为提升模型性能的重要手段之一。CBAM（Convolutional Block Attention Module）作为一种轻量级且高效的注意力机制，被广泛应用于各种卷积神经网络中。CBAM（Convolutional Block Attention Module）是一种卷积块注意力模块，由通道注意力（Channel Attention）和空间注意力（Spatial Attention）两个子模块组成。
即插即用的涨点模块之注意力机制（CBAMAttention）详解及代码，可应用于检测、分割、分类等各种算法领域
qq_51511878的博客
04-19 1万+
CE模块通常只注意了通道特征，但在视觉任务中，空间任务通常更为重要，是不可忽略的，因此CBAM将通道注意力机制与空间注意力机制进行串联，充分关注特征信息。什么是空间特征？在深度学习中，空间特征是指描述输入数据在空间维度上的特征信息。对于图像数据而言，空间特征可以涵盖多种信息，包括边缘、角点、纹理、颜色等。这些特征信息可以帮助模型理解图像中不同区域的内容和结构，从而实现诸如目标检测、图像分割、图像分类等任务。
【深度学习注意力机制系列】—— CBAM注意力机制（附pytorch实现）
qq_43456016的博客
08-09 6万+
CBAM旨在克服传统卷积神经网络在处理不同尺度、形状和方向信息时的局限性。通道注意力和空间注意力。通道注意力有助于增强不同通道的特征表示，而空间注意力有助于提取空间中不同位置的关键信息。总之，CBAM模块通过自适应地学习通道和空间注意力权重，以提高卷积神经网络的特征表达能力。通过将通道注意力和空间注意力结合起来，CBAM模块能够在不同维度上捕获特征之间的相关性，从而提升图像识别任务的性能。
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现
A_John 的博客
04-19 4万+
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现 1、Convolutional Block Attention Module 2、CBAM 详解 Channel Attention Module Spatial Attention Module 3、CBAM 复现 简称 ``CBAM``，2018年 提出的一种新的 *卷积注意力模块* ； 对前馈卷积神经网络 是一个 简单而有效的 注意力模块 ； 因为它的轻量级和通用性，可以无缝集成到任何CNN网络当中 ；...
深入浅出之Convolutional Block Attention Module（YOLO）
浩瀚之水的专栏
01-24 923
Convolutional Block Attention Module（CBAM）是一种用于增强卷积神经网络（CNN）特征表示能力的注意力机制模块。
【YOLOv5/v7 添加注意力机制】 模块七 CBAM（Convolutional Block Attention Module）模块详解
最新发布
u010117029的博客
04-17 22
CBAM（Convolutional Block Attention Module）是一种卷积块注意力模块，它通过通道注意力机制（Channel Attention）和空间注意力机制（Spatial Attention）来增强特征表示能力。CBAM模块可以有效地捕捉特征图中的重要信息，提高模型的性能。
【注意力机制】CBAM详解（文末附代码）
热门推荐
Roaddd的博客
03-10 15万+
论文题目：《CBAM: Convolutional Block Attention Module》 论文地址：https://arxiv.org/pdf/1807.06521.pdf 1. 前言        论文（2018年）提出了一种轻量的注意力模块( CBAM，Convolutional Block Attention Module )，可以在通道和空间维度上进行 Attention 。论文在 ResNet 和 MobileNet
【论文笔记】CBAM: Convolutional Block Attention Module
a1424262219的博客
09-14 278
CBAM: Convolutional Block Attention Module 2018-09-1421:52:42 Paper：http://openaccess.thecvf.com/content_ECCV_2018/papers/Sanghyun_Woo_Convolutional_Block_Attention_ECCV_2018_paper.pdf Git...
CBAM（Convolutional Block Attention Module）
mvnmvn的专栏
05-13 904
图解：将输入的feature map经过两个并行的MaxPool层和AvgPool层，将特征图从C*H*W变为C*1*1的大小，然后经过Share MLP模块，在该模块中，它先将通道数压缩为原来的1/r（Reduction，减少率）倍，再扩张到原通道数，经过ReLU激活函数得到两个激活后的结果。该模块由通道注意力模块和空间注意力模块两部分组成，能够分别关注输入特征图的通道信息和空间信息，进而提升模型对于重要特征的关注度。）是轻量级的卷积注意力模块，它结合了通道和空间的注意力机制模块，，所以用了个多分支。
Convolutional Block Attention Module（CBAM）
justsolow的博客
06-03 2263
Convolutional Block Attention Module（CBAM） 论文 1. 什么是注意力机制？ 注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。 通俗来讲：注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方。比如人眼在看一幅画的时候，不会将注意力平等地分配给画中的所有像素，而是将更多注意力分配给人们关注的地方。 从实现的角度来讲：注意力机制通过神经网络的操作
【论文】CBAM: Convolutional Block Attention Module
梦想是要有的，万一实现了呢！
05-31 7536
摘要：我们提出了卷积块注意模块 (CBAM)，这是一个用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图，我们的模块沿两个单独的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。因为 CBAM 是一个轻量级的通用模块，它可以无缝集成到任何 CNN 架构中，开销可以忽略不计，并且可以与基础 CNN 一起进行端到端训练。我们通过对 Image Net - 1 K、MS COCO 检测和 VOC 2007 检测数据集的广泛实验来验证我们的 CBAM。我们的实验表..
CBAM注意力机制详解
02-27
### CBAM注意力机制详细介绍 #### 一、概述 CBAM（Convolutional Block Attention Module）是一种用于卷积神经网络中的注意力模块，旨在提升特征表示的质量。该模块结合了通道注意力机制和空间注意力机制，从而实现更精细的特征提取[^2]。 #### 二、通道注意力机制 ##### 特征聚合 为了获取全局信息，在计算过程中会利用最大池化操作以及平均池化操作来压缩输入特征图的空间维度，得到两个描述不同统计特性的向量。这些向量随后被送入一个多层感知器(MLP)，其权重共享设计有助于减少参数数量并加速训练过程[^3]。 ##### 权重生成 经过上述处理后的特征会被映射回原始尺寸大小，并通过Sigmoid激活函数转换成范围在0到1之间的权值矩阵。此矩阵代表各个通道的重要性程度，较高的数值意味着对应位置上的响应更为重要。最终，原特征图与产生的权值相乘即可获得带有通道注意力建模的新特征图。 ```python import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, channel, reduction=16): super(ChannelAttention, self).__init__() self.max_pool = nn.AdaptiveMaxPool2d(1) self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel) ) def forward(self, x): b, c, _, _ = x.size() max_out = self.fc(self.max_pool(x).view(b,c)) avg_out = self.fc(self.avg_pool(x).view(b,c)) out = (max_out + avg_out).sigmoid().unsqueeze(-1).unsqueeze(-1) return x * out.expand_as(x) ``` #### 三、空间注意力机制 ##### 描述 完成通道级别的优化之后，接下来是对每一个像素点施加影响——即引入空间注意力机制。这里同样采用两种方式收集上下文线索：沿宽度方向的最大/均值汇聚；沿着高度方向执行相同的操作。接着把两者拼接起来形成一个新的二维张量作为后续全连接层或卷积核的作用对象。 ##### 计算流程 类似于之前的做法，此处也采用了类似的策略去构建一个衡量各处显著度的地图。不过区别在于这次关注的是图像内部的位置关系而非单个channel的表现力。最后一步同样是将这张地图作用于先前已经过一轮筛选的数据集之上，以此达到强化有效区域的效果。 ```python class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) y = torch.cat([avg_out, max_out], dim=1) y = self.conv(y) return x * self.sigmoid(y) ``` #### 四、整体架构 综上所述，整个CBAM由两部分组成：首先是针对feature map中每个channel的重要性和贡献度作出评估；其次是考虑到了具体坐标点对于整幅图片的意义所在。当这两者结合起来时便构成了完整的双重视觉焦点调整方案，进而使得CNN具备更强的学习能力和泛化性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清风AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值