yolov5改进（一） 添加注意力集中机制

已于 2022-09-09 19:37:00 修改
阅读量3.6k 收藏 23
点赞数 3
分类专栏： # yolov5 文章标签： 深度学习 pytorch 神经网络
于 2022-07-29 01:57:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50862344/article/details/126045599
版权

（1）自注意力集中机制

我想学的是注意力机制但是好像一开始跑歪了，学了自注意力机制。该说不说，讲的挺不错的。
台大李宏毅自注意力机制
input：vector set
在这里插入图片描述

在这里插入图片描述

muti-head：可能会有不同的联系

在这里插入图片描述

在图片中的应用:
在这里插入图片描述

将一个像素上的rgb看作一个vector

模型上的应用包括：①self-attention GAN
②DETR

CNN和Self-attention的对比：
CNN只考虑receptive field，Self-attention考虑全局。因此可以将cnn看作是小范围的（简化版）Self-attention
在这里插入图片描述

②小资料量时CNN占优，大量时Self-attention会超过CNN
对于理由李宏毅的说法是：Self-attention弹性大，CNN弹性小

RNN&SA
①SA平行化，RNN不可以平行话
②数据记忆量

（2）注意力机制

接下来就是正儿八经的注意力机制(Attention)
先上资料先上资料
pytorch应用的：
先上资料
其实csdn上是有网课的但是贫困小孩最近真是没钱花，但是我们还是可以参照他的架构进行学习

在这里插入图片描述

1.了解注意力机制

根据注意力作用的不同维度将注意力分成了四种基本类型：通道注意力、空间注意力、时间注意力和分支注意力，以及两种组合注意力：通道-空间注意力和空间-时间注意力。
在这里插入图片描述
spatial：空间
temporal：时间
画出三维坐标轴大概就长下面这样：
请添加图片描述

2.正儿八经进入注意力模块

遇到问题先看看b导的课

本小白遇到的不会的函数,例子更好理解一点
1）cat：拼接
在这里插入图片描述
2）view：改变cols和rows的排布

在这里插入图片描述
3）torch.mean通道平均值&torch.max通道最大值
torch.nn.AdaptiveAvgPool2d(output_size)：提供2维的自适应平均池化操作 对于任何输入大小的输入，可以将输出尺寸指定为H*W

对比于全局平均池化可以理解成切片方式不一样！！！

注意力机制是一个即插即用的模块，理论上可以放在任何一个特征层后面。
由于放置在主干会导致网络的预训练权重无法使用，将注意力机制应用加强特征提取网络上

（3）实战部分

但是我写一半就发现有人已经写好了，这边可以参考一下：yolov5添加注意力集中机制

实际使用时出现什么问题我再补充吧！！感觉b导已经讲的很好了
1.如果是添加一个独立的注意力机制层，可能会影响后面层数（从backbone接受的特征图的层的层数就变了）
2.一般不添加到主干提取网络避免影响预训练权重

手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
YOLOv8项目贡献者
04-27 19万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
YOLOv10改进 | 添加注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
07-13 1213
本文给大家带来的是YOLOv10改进的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
YOLOv5改进---添加注意力机制之SE
linkaisi的博客
02-01 5290
这是。
YOLOv5添加注意力机制的具体步骤
thy0000的博客
06-06 2万+
本文主要介绍了 本文在此篇博客的基础上向YOLOv5-5.0版 本文主要包括以下内容一、CBAM注意力机制添加（1）修改yolov5s主干网络（2）在common.py中添加可调用的CBAM模块（3）向yolo.py文件添加CBAMC3判断语句二、SE注意力机制添加 本文以yolov5s网络为例 一、CBAM注意力机制添加 注意力机制可以添加在backbone，Neck，Head等部分，接下来本文以backbone主干网络为例 （1）修改yolov5s主干网络 1.在yolov5-5.0工程文件夹下，找到m
YOLOv5 + SE注意力机制：提升目标检测性能的实践
weixin_52603404的博客
02-28 1736
YOLOv5以其高效性和准确性在目标检测中得到了广泛应用。Backbone：负责从输入图像中提取特征。Neck：通过特征融合提高模型的多尺度感知能力。Head：根据提取的特征进行预测。SE（Squeeze-and-Excitation）注意力机制是一种轻量级的注意力模块，旨在通过显式地建模通道间的依赖关系，提升模型的表示能力。Squeeze（压缩）：通过全局平均池化操作，将特征图的空间维度压缩为1，生成通道描述符。Excitation（激励）
YOLOv5增加注意力机制
weixin_35752645的博客
01-08 1138
YOLOv5 增加了注意力机制，这意味着它在处理图像时会更加关注重要的特征，并忽略不重要的信息。这能够帮助 YOLOv5 更准确地检测出图像中的物体，并且可以更快地进行检测。注意力机制通常是通过计算权重来实现的，这些权重指示了不同部分的重要程度。 ...
Yolov5添加注意力机制
m0_56247038的博客
05-18 2万+
1、先把注意力结构代码放到common.py文件中，以SE举例，将这段代码粘贴到common.py文件中2、找到yolo.py文件里的parse_model函数，将类名加入进去3、修改配置文件（我这里拿yolov5s.yaml举例子），将注意力层加到你想加入的位置；常用的一般是添加到backbone的最后一层，或者C3里面，这里是加在了最后一层。
零基础教程：Yolov5模型改进-添加13种注意力机制
pyscl01的博客
09-25 5144
零基础教程：Yolov5模型改进-添加注意力机制的详细步骤
YOLOv8 改进：添加 ECA 注意力机制
走向CTO的路上...
03-18 596
通过将 ECA 注意力机制集成到 YOLOv8 中，能够有效提升模型对关键特征的关注，提高目标检测的精度。同时，ECA 的轻量化特性确保了模型推理速度的优越性。
YOLOv5改进实战 | 添加注意力机制（一）之SimAM篇
w94ghz的博客
10-02 3237
YOLOv8 改进：添加 EMA 注意力机制，并与 C2f 融合
走向CTO的路上...
03-30 513
通过结合 EMA 注意力机制和 C2f 提升 YOLOv8 的特征提取能力，能够有效减少模型复杂度并增强检测性能。这种方法不仅适用于资源受限的设备，还能在丰富多样的实际应用中提供强劲支持。
yolov5-attention
04-12
该存储库代表Ultralytics对未来的对象检测方法的开源研究，并结合了在匿名客户数据集上数千小时的培训和发展过程中汲取的经验教训和最佳实践。 所有代码和模型都在积极开发中，如有更改或删除，恕不另行通知。 使用风险自负。 ** GPU速度使用批处理大小为32的V100 GPU测量超过5000张COCO val2017图像的平均每张图像的端到端时间，包括图像预处理，PyTorch FP16推理，后处理和NMS。 来自EfficientDet数据（批量大小为8）。 2021年1月5日： ：nn.SiLU（）激活，记录， 集成。 2020年8月13日： ：nn.Hardswish（）激活，数据自动下载，本机AMP。 2020年7月23日： ：改进了模型定义，培训和mAP。 2020年6月22日： 更新：新机头，减少了参数，提高了速度，并提高了mAP 。 2020年6月19日： 作为
YOLOV5改进：添加注意力机制
weixin_46046179的博客
07-13 8551
注意力机制是指人类或机器在处理信息时，对于某些特定的信息或区域给予更高的关注和处理能力的一种认知机制。它模拟了人类在面对复杂的信息时，通过选择性地关注和集中注意力，从而提高信息处理和理解的效果。通俗地说，就是更好地寻找自己感兴趣的区域或目标。作用：在机器学习和人工智能领域，注意力机制被广泛应用于各种任务，特别是在自然语言处理和计算机视觉中。通过引入注意力机制，模型可以自动地学习和集中关注输入数据中的关键信息，从而提高任务的准确性和效果。
yolov5添加注意力机制（CBAM）
kay_545
10-03 1万+
引入CBAM后，YOLOv5在基础骨干网的每个残差单元的最后添加了CBAM模块，并在中间层的SPP（Spatial Pyramid Pooling）层后也添加了CBAM模块。总之，通过引入CBAM注意力机制，YOLOv5改进了网络的基础骨干网、中间层和检测头，使得模型能够更好地捕捉特征之间的依赖关系，提高特征表示能力和检测精度。通过结合通道注意力和空间注意力，CBAM注意力机制能够自适应地调整不同通道和空间位置的重要性，从而提升模型对图像特征的表达能力。，将CBAM添加到我们想添加的位置。
yolov5加入注意力机制步骤
weixin_48695781的博客
04-15 3865
作为收藏
在yolov5的网络结构中添加注意力机制模块
热门推荐
XingshiXu
12-09 4万+
会点就总结
YOLOv5改进之添加注意力机制
weixin_47060902的博客
05-21 1万+
本文主要给大家讲解一下，如何在yolov5中添加注意力机制， 这里提供SE通道注意力的改进方法，其他注意力的添加方法，大同小异 首先找到SE注意力机制的pytorch代码 class SELayer(nn.Module): def __init__(self, c1, r=16): super(SELayer, self).__init__() self.avgpool = nn.AdaptiveAvgPool2d(1) self.l1 = n
YOLOv5添加注意力机制
weixin_46297839的博客
05-04 2545
添加注意力机制代码 首先在common.py文件中添加所需要的注意力机制代码（这里网上很多博客中都有提到，就傻瓜式复制粘贴就好了） SE class SE(nn.Module): def __init__(self, c1, c2, ratio=16): super(SE, self).__init__() #c*1*1 self.avgpool = nn.AdaptiveAvgPool2d(1) self.l1 = nn.Linea
【YOLOv5进阶】——引入注意力机制-以SE为例
weixin_51658186的博客
07-02 2694
首先需要在backbone的最后加上SE模块（相当于多了一层为第10层）；其次考虑到backbone里多了一层，且在head里的输入层来源不止上一层（-1）一个，所以输入层来源大于等于第10层的都需要改为往后递推+1层。
yolov3-tiny添加注意力集中
最新发布
04-03
### 如何在 YOLOv3-Tiny 中实现注意力机制 #### 1. **基本概念** YOLOv3-Tiny 是一种轻量化的对象检测模型，相较于完整的 YOLOv3 模型具有更少的参数和更快的速度。然而，在某些场景下可能需要进一步优化其性能，而注意力机制是一种有效的手段来增强模型对关键区域的关注能力[^4]。 #### 2. **选择合适的注意力机制** 常见的注意力机制包括但不限于 SE (Squeeze-and-Excitation)[^3]、SAM (Spatial Attention Module) 和 CBAM (Convolutional Block Attention Module)[^5]。这些机制可以通过调整通道权重或空间分布来突出重要的特征图部分。对于 YOLOv3-Tiny 的改进，可以选择其中任意一种或者组合多种方式来进行实验。 #### 3. **具体实现流程** 以下是将 CBAM 注意力机制集成到 YOLOv3-Tiny 的方法： ##### （1）修改 `common.py` 文件 CBAM 主要由两个子模块组成：Channel Attention 和 Spatial Attention。可以在项目的公用组件文件中定义该结构。例如： ```python import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=8): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False) self.relu1 = nn.ReLU() self.fc2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x)))) max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x)))) out = avg_out + max_out return self.sigmoid(out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) x = torch.cat([avg_out, max_out], dim=1) x = self.conv1(x) return self.sigmoid(x) class CBAM(nn.Module): def __init__(self, gate_channels, reduction_ratio=16, pool_types=['avg', 'max'], no_spatial=False): super(CBAM, self).__init__() self.ChannelGate = ChannelAttention(gate_channels, reduction_ratio) self.no_spatial=no_spatial if not no_spatial: self.SpatialGate = SpatialAttention() def forward(self, x): x_out = self.ChannelGate(x) x_out = x * x_out if not self.no_spatial: x_out = self.SpatialGate(x_out) x_out = x * x_out return x_out ``` 上述代码实现了 CBAM 的核心逻辑，并将其封装成独立的类以便后续调用。 ##### （2）更新网络架构 (`yolo.py`) 找到负责构建卷积层的部分并插入 CBAM 层。通常情况下，可以考虑在 backbone 或 neck 阶段的关键位置添加此操作。例如： ```python def add_cbam_to_backbone(model): for name, module in model.named_children(): if isinstance(module, nn.Sequential): # 如果当前模块是一个序列容器，则递归遍历内部成员 add_cbam_to_backbone(module) elif isinstance(module, nn.Conv2d): channels = module.out_channels cbam_layer = CBAM(channels) setattr(model, f"{name}_cbam", cbam_layer) return model ``` 通过这种方式动态注入新的功能单元至现有框架之中。 ##### （3）配置训练过程 最后一步是在数据预处理阶段以及损失函数计算环节保持一致性的同时启用新特性。确保所有超参设置合理即可开始新一轮迭代验证工作。 --- ### 总结 综上所述，向 YOLOv3-Tiny 引入注意力机制并非难事，只需按照既定模板逐步完成相应改动便能显著改善最终成果表现水平。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值