YOLOv5/v7 添加注意力机制，30多种模块分析②，BAM模块，CBAM模块

最新推荐文章于 2024-05-12 17:07:11 发布
最新推荐文章于 2024-05-12 17:07:11 发布
阅读量2.3k 收藏 29
点赞数 26
分类专栏： 目标检测YOLO改进实战 文章标签： YOLO 深度学习 人工智能 机器学习 计算机视觉
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/guorui_java/article/details/131114322
版权
本文深入探讨YOLOv5/v7中注意力机制的增强，分析了BAM和CBAM两种模块。BAM通过通道和空间注意力提升目标感知能力，而CBAM则结合通道和空间注意力增强特征重要性。实验结果显示，这两种模块能有效提高模型性能，尤其是在目标检测任务中。
摘要由CSDN通过智能技术生成

目录

大家好，我是哪吒。

🏆本文收录于，目标检测YOLO改进指南。

本专栏均为全网独家首发，内附代码，可直接使用，改进的方法均是2023年最近的模型、方法和注意力机制。每一篇都做了实验，并附有实验结果分析，模型对比。

在机器学习和自然语言处理领域，随着数据的不断增长和任务的复杂性提高，传统的模型在处理长序列或大型输入时面临一些困难。传统模型无法有效地区分每个输入的重要性，导致模型难以捕捉到与当前任务相关的关键信息。为了解决这个问题，注意力机制（Attention Mechanism）应运而生。

一、注意力机制介绍

1、什么是注意力机制？

注意力机制（Attention Mechanism）是一种在机器学习和自然语言处理领域中广泛应用的重要概念。它的出现解决了模型在处理长序列或大型输入时的困难，使得模型能够更加关注与当前任务相关的信息，从而提高模型的性能和效果。

本文将详细介绍注意力机制的原理、应用示例以及应用示例。

2、注意力机制的分类

类别 描述
全局注意力机制（Global Attention） 在计算注意力权重时，考虑输入序列中的所有位置或元素，适用于需要全局信息的任务。
局部注意力机制（Local Attention
了解本专栏 订阅专栏 解锁全文
哪 吒
关注
  • 26
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 23
    评论
专栏目录
订阅专栏
soft-attention (SENet、BAM、CBAM)
weixin_45615542的博客
08-23 2853
soft-Attention 是参数化的（Parameterization），因此可导，可以被嵌入到模型中去，直接训练。梯度可以经过Attention Mechanism 模块，反向传播到模型其他部分。与分类、回归训练原理完全一致。 Squeeze - and - Excitation Network (SENet) SENet旨在通过使网络能够动态调制各通道的权重（通道注意力），从而重新校准特征来提高网络的表达能力。采用全局平均汇集特征来计算通道方向的注意。 BAM（Bottleneck Att
mmdetection3的12种注意力机制
最新发布
07-04
mmdetection3增加12种注意力机制，包括：CBAM、BAM、SEAttention、ECAAttention 、ShuffleAttention 、SGE 、A2Atttention 、PolarizedSelfAttention、CoTAttention、TripletAttention、CoordAttention、...
【注意力机制】BAM: Bottleneck Attention Module论文理解
qq_36926037的博客
06-14 1万+
摘要   深度神经网络的最新进展是通过架构搜索来获得更强的表征能力。   瓶颈注意模块(BAM)：   本研究关注深度神经网络中注意力机制的影响，提出了一个简单而有效的注意力模块，即瓶颈注意模块(BAM)，可以与任何前馈卷积神经网络集成，沿着两个不同的路径（通道和空间）推断注意力映射。 将模块放在模型的每个瓶颈处（特征映射产生降采样），构建一个具有多个参数的分层注意，可以与任何前馈模型以端到端方式进行训练。   实验结果：   在CIFAR-100、ImageNet-1K、VOC 2007和MS COCO基
【CV中的Attention机制】CBAM的姊妹篇-BAM模块
pprp的博客
01-03 1854
1. BAM BAM全程是bottlenect attention module，与CBAM很相似的起名，还是CBAM的团队完成的作品。 CBAM被ECCV18接受，BAM被BMVC18接收。 CBAM可以看做是通道注意力机制和空间注意力机制的串联（先通道后空间），BAM可以看做两者的并联。 这个模块之所以叫bottlenect是因为这个模块放在DownSample 也就是pooling lay...
YoloV8改进---注意力机制:引入瓶颈注意力模块BAM，对标CBAM
07-05 1494
yolov8加入BAM注意力机制，能够起到涨点的作用，添加位置不同在不同数据集表现也不一样
Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)
落了一地秋的博客
08-16 3万+
Attention机制理解笔记声明Attention分类(主要SA和CA)spitial attentionchannel attentionSA + CA(spitial attention+channel attention)加强SA+CA理解空间注意力机制和通道注意力机制解释attention机制Attention模型架构1.空间注意力模型(spatial attention)2.通道注意力机制3.空间和通道注意力机制的融合CBAM 和 BAMBLOG1的笔记重点及总结BLOG2重点看下这篇文章BAM
Yolov5 中添加注意力机制 CBAM
ruotianxia的博客
09-03 4371
从上图中可以看到，前面的卷积神经网络提前特征后，分别进行两个通道注意力计算，两个通道可以并行也可以串行，但是原作者在实验中发现，串行且channel在spatial之前，性能会更好。CBAM将这两个注意力模块嵌入到CNN的卷积层之间，以增强网络对重要特征的关注度。在common.py的尾部添加如下代码，即Channel Attention 模块、Spatial Attention模块、CBAMC3模块。如果运行之后的网络输出中，出现CBAMC3，则说明添加成功，下面就是等待训练的结果。
yolov5添加注意力机制（CBAM）
kay_545
10-03 7774
引入CBAM后，YOLOv5在基础骨干网的每个残差单元的最后添加了CBAM模块，并在中间层的SPP（Spatial Pyramid Pooling）层后也添加了CBAM模块。总之，通过引入CBAM注意力机制，YOLOv5改进了网络的基础骨干网、中间层和检测头，使得模型能够更好地捕捉特征之间的依赖关系，提高特征表示能力和检测精度。通过结合通道注意力和空间注意力，CBAM注意力机制能够自适应地调整不同通道和空间位置的重要性，从而提升模型对图像特征的表达能力。，将CBAM添加到我们想添加的位置。
基于YOLOV8的注意力机制源代码获取，开箱即用
08-28
注意力机制包括： 1.CBAM； 2.GAM； 3.ResBlock_CBAM; ​4.Triplet注意力; 5. ShuffleAttention; 6.ECA; 7.SENet; 8. EffectiveSE; ​​9. GCNet; 10.GENet; 11.BAM;
基于YOLOV8的注意力机制源代码获取，开箱即用 .rar
07-03
注意力机制包括： 1.CBAM； 2.GAM； 3.ResBlock_CBAM; ​4.Triplet注意力; 5. ShuffleAttention; 6.ECA; 7.SENet; 8. EffectiveSE; ​​9. GCNet; 10.GENet; 11.BAM;
yolov5-attention
04-12
该存储库代表Ultralytics对未来的对象检测方法的开源研究，并结合了在匿名客户数据集上数千小时的培训和发展过程中汲取的经验教训和最佳实践。 所有代码和模型都在积极开发中，如有更改或删除，恕不另行通知。 使用风险自负。 ** GPU速度使用批处理大小为32的V100 GPU测量超过5000张COCO val2017图像的平均每张图像的端到端时间，包括图像预处理，PyTorch FP16推理，后处理和NMS。 来自EfficientDet数据（批量大小为8）。 2021年1月5日： ：nn.SiLU（）激活，记录， 集成。 2020年8月13日： ：nn.Hardswish（）激活，数据自动下载，本机AMP。 2020年7月23日： ：改进了模型定义，培训和mAP。 2020年6月22日： 更新：新机头，减少了参数，提高了速度，并提高了mAP 。 2020年6月19日： 作为
基于YOLOV8的注意力机制源代码获取，开箱即用 1.rar
07-03
注意力机制包括： 1.CBAM； 2.GAM； 3.ResBlock_CBAM; ​4.Triplet注意力; 5. ShuffleAttention; 6.ECA; 7.SENet; 8. EffectiveSE; ​​9. GCNet; 10.GENet; 11.BAM;
YOLOV5中添加CBAM模块详解——原理+代码
python_plus的博客
03-07 3883
本文详细讲解了CBAM模块中的CAM和SAM过程，并提供了将CBAM添加到YOLOv5中的代码
YOLOv5 添加CBAM注意力机制
u011669976的博客
08-12 1561
注意力机制
pytorch中加入注意力机制（CBAM），以yolov5为例
qq_39542170的博客
06-14 3万+
书本下载地址： https://www.taylorfrancis.com/books/matlab-simulations-radar-systems-design-bassem-mahafza-atef-elsherbeni/10.1201/9780203502556
yolov5加入CBAM,SE,CA,ECA注意力机制，纯代码（22.3.1还更新）
热门推荐
zqt321的博客
12-07 7万+
CBAM,SE,ECA,CA注意力添加到yolov5网络中，5.0版本
YOLOv5改进 | 注意力机制 | 通道和空间的双重作用的CBAM注意力机制
kay_545
05-12 1396
CBAM（Convolutional Block Attention Module）是一种用于增强卷积神经网络（CNN）性能的注意力机制。它由两个子模块组成：通道注意力模块和空间注意力模块。通道注意力模块通过全局平均池化和全连接层学习通道间的关系，并利用学到的权重对每个通道的特征图进行加权，以增强有用的特征并抑制无用的特征。空间注意力模块则通过对特征图在空间维度上进行最大池化和平均池化操作，结合两种池化结果通过全连接层学习得到每个空间位置的权重，使得网络能够更好地关注图像中的重要区域。
YOLOv5改进之添加CBAM注意力机制
qq_46542320的博客
06-27 3309
在其后面添加：CBAMBottleneck，C3CBAM。这里是将backbone中的C3全部替换成了C3CBAM。
YOLOv5改进--添加CBAM注意力机制
weixin_57130167的博客
11-21 6743
YOLOV5改进方式，添加注意力机制，有很多添加方式，文中列举一种。
BAM注意力机制模块
05-28
BAM是基于注意力机制的一种网络模型，用于提高模型的性能。BAM模块应用于深度学习模型的瓶颈处，可以分别从通道和空间两个方面对输入进行注意力机制的处理。通道注意力机制可以学习不同通道之间的关系，而空间注意力机制可以学习图像不同位置之间的区别，从而提高模型的鲁棒性和泛化能力。BAM模块的应用可以有效地提高网络的性能，增强模型的特征表达能力，减少计算量，加快网络的收敛速度。 以下是BAM模块的实现示例代码[^1]： ```python import torch.nn as nn import torch class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Conv2d(in_planes, in_planes // 16, 1, bias=False) self.relu1 = nn.ReLU() self.fc2 = nn.Conv2d(in_planes // 16, in_planes, 1, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x)))) max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x)))) out = avg_out + max_out return self.sigmoid(out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) x = torch.cat([avg_out, max_out], dim=1) x = self.conv1(x) return self.sigmoid(x) class BAM(nn.Module): def __init__(self, in_planes): super(BAM, self).__init__() self.ca = ChannelAttention(in_planes) self.sa = SpatialAttention() def forward(self, x): out = self.ca(x) * x out = self.sa(out) * out return out ```
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值