YOLOv9/YOLOv8/YOLOv7改进之二十三：引入SimAM无参数注意力

已于 2024-03-28 13:01:39 修改
阅读量1w 收藏 47
点赞数 6
CC 4.0 BY-SA版权
分类专栏： YOLO系列目标检测算法创新改进方法 YOLO算法改进系列 文章标签： 深度学习 计算机视觉 人工智能
于 2022-08-23 18:54:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_70388905/article/details/126456722
本文介绍了将SimAM，一种无参数注意力模块，应用于YOLOv7目标检测算法的改进方法。SimAM基于神经科学理论，通过优化能量函数提升神经元的重要性，无需额外参数，适用于多种视觉任务，提高了模型的表达能力。实验显示在多个数据集上效果显著。

 ​前 言：作为当前先进的深度学习目标检测算法YOLOv7，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv7的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。由于出到YOLOv7，YOLOv5算法2020年至今已经涌现出大量改进论文，这个不论对于搞科研的同学或者已经工作的朋友来说，研究的价值和新颖度都不太够了，为与时俱进，以后改进算法以YOLOv7为基础，此前YOLOv5改进方法在YOLOv7同样适用，所以继续YOLOv5系列改进的序号。另外改进方法在YOLOv5等其他算法同样可以适用进行改进。希望能够对大家有帮助。

需要更多程序资料以及答疑欢迎大家关注——微信公众号：人工智能AI算法工程师 

具体改进办法请关注后私信留言！关注即免费获取深度学习资料！

解决问题：中山大学在注意力机制方面的尝试，从神经科学理论出发，构建了一种能量函数挖掘神经元重要性，并对此推导出了解析解以加速计算。通过ImageNet分类、COCO检测与分割等任务验证了所提SimAM的灵活性与有效性。值得一提的是，所提SimAM是一种无参数注意力模块。

原理：

论文：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv7改进：BoTNeT（Bottleneck Transformer）
weixin_45303602的博客
10-10 1042
论文地址Paper本文提出的BoTNet是一种简单高效的网络，有效的将SA应用到多种视觉任务，如图像识别、目标检测、实例分割任务。通过将ResNet50中最后三个bottleneck模块的空间卷积替换为全局的SA操作，有效提升了基线模型在签署任务上的性能。Section I常用的CNN大多采用3x3的卷积核，鉴于卷积操作可以有效的不糊哦局部信息，但是对于一些视觉任务如目标检测、实例分割、关键点检测还需要建立长程依赖关系。比如实例分割中需要收集场景相关的信息才能学习物体之间的关系；
YOLOv7改进：CBAM注意力机制
weixin_45303602的博客
09-28 2830
CBAM注意力机制是由通道注意力机制（channel）和空间注意力机制（spatial）组成。 传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。CBAM从 channel 和 spatial 两个作用域出发，引入空间注意力和通道注意力两个分析维度，实现从通道到空间的顺序注意力结构。空间注意力可使神经网络更加关注图像中对分类起决定作用的像素区域而忽略无关紧要的区域，通道注意力则用于处理特征图通道的分配关系，同时对两个维度进行注意力分配增强了注意力机制对模型性能
YOLOv8 轻量级感知增强：集成 SimAM 无参数注意力模块手把手带你学习三维注意力模块
FJN110的博客
08-20 461
本教程详细剖析了 SimAM (Simple, Parameter-free Attention Module) 的数学原理、实现细节以及在 Ultralytics YOLOv8 框架中的集成方法。我们强调了 SimAM 作为一种无参数、三维注意力模块的独特优势，以及它如何通过评估神经元的信息熵来增强特征表示。核心总结：SimAM 通过一种新颖的、纯数学驱动的方式，在不引入任何可学习参数的情况下，为特征图的每个神经元生成了三维注意力权重。这种设计使其在保持模型极致轻量化的同时，有效地提升了特征的判别力。
YOLOv7改进：RepVGG结构
weixin_45303602的博客
10-05 1594
我们所说的“VGG式”指的是：没有任何分支结构。即通常所说的plain或feed-forward架构。仅使用3x3卷积。仅使用ReLU作为激活函数。主要创新点为结构重。在训练时，网络的结构是多分支进行的，而在推理时则将分支的参数进行重参数化，合为一个分支来进行的，所以推理的速度要比多分支网络快很多，并且精度也比单分支的网络更高。
YOLOv7改进：结合CotNet Transformer结构
weixin_45303602的博客
09-30 916
京东AI研究院提出的一种新的注意力结构。将CoT Block代替了ResNet结构中的3x3卷积，在分类检测分割等任务效果都出类拔萃论文：Contextual Transformer Networks for Visual Recognition有自注意力的Transformer引发了自然语言处理领域的革命，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。
YOLOV7改进-添加注意力机制
m0_46700884的博客
07-05 5192
注意力机制一般加在backbone或者是PAN层。，配合yolov7.yaml的文件来结合看！1、在github主页中找到SE.py注意力模块。
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
热门推荐
YOLOv8项目贡献者
04-27 20万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
YOLOV8/YOLOv7/YOLOv5改进:引入GAMAttention注意力机制
weixin_45303602的博客
08-13 1775
为了提高各种计算机视觉任务的性能，人们研究了各种注意机制。然而，以往的方法忽略了保留通道和空间方面的信息以增强跨维度交互的重要性。因此，我们提出了一种全局调度机制，通过减少信息缩减和放大全局交互表示来提高深度神经网络的性能。我们沿着卷积空间注意子模块引入了用于通道注意的多层感知器3D置换。GAMAttention注意力机制原理图对于ImageNet-1K，我们将图像预处理为224×224（He et al.[2016]）。
YOLOv8改进 - 注意力篇 - 引入SimAM注意力机制
浪子L的博客
10-08 4115
YOLOv8改进 - 注意力篇 - 引入SimAM注意力机制
【YOLOv8改进 - 注意力机制】SimAM：轻量级注意力机制，解锁卷积神经网络新潜力
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-30 1529
在本文中，我们提出了一种概念上简单但非常有效的卷积神经网络（ConvNets）注意力模块。与现有的通道注意力和空间注意力模块不同，我们的模块为特征图推断3D注意力权重，而无需向原始网络添加参数。具体来说，我们基于一些知名的神经科学理论，提出通过优化能量函数来找出每个神经元的重要性。我们进一步推导出一个快速的闭式解，并展示该解可以在不到十行代码中实现。该模块的另一个优点是大多数操作符是基于能量函数的解选择的，避免了大量结构调整的工作。
YOLOv7改进：CotNet Transformer
本人热爱计算机技术，欢迎爱好技术的朋友一起交流
12-02 1347
有自注意力的Transformer引发了自然语言处理领域的革命，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。在今天分享的工作中，研究者设计了一个新颖的Transformer风格的模块，即Contextual Transformer (CoT)块，用于视觉识别。同样，当我们读一句话时，大脑也会首先记住重要的词汇，这样就可以把注意力机制应用到自然语言处理任务中，于是人们就通过借助人脑处理信息过载的方式，提出了Attention机制。
yolov7改进--添加CBAM模块（注意力机制）
u012661539的博客
06-06 4039
【代码】改进yolov7--添加CBAM模块（注意力机制）
YOLOv7改进方式：从104层到24层的网络配置压缩，提升改进效率与性能
GzvDart的博客
09-16 715
YOLOv7是一种广泛应用于计算机视觉领域的目标检测算法，但其原始网络模型包含了104层，这给改进和优化带来了一定的困难。为了压缩网络配置，我们减少了横向连接的数量，只保留了对性能影响较大的关键横向连接。然而，为了进一步压缩网络配置，我们简化了残差块的结构。通过以上改进方法和相应的源代码，我们成功将YOLOv7的网络配置从104层压缩到了仅有24层，既提高了改进的效率，又在保持模型性能的同时提升了计算速度。为了简化网络配置，我们采用了更轻量级的检测头结构，例如使用更少的卷积层或减少卷积核的数量。
YOLOV7改进：加入RCS-OSA模块，提升检测速度
AIcurator的博客
08-15 814
凭借速度和精度之间的良好平衡，前沿的YOLO框架已成为最有效的目标检测算法之一。然而，使用YOLO网络在脑肿瘤检测中的性能研究很少。提出了一种新的基于信道Shuffle的重参数化卷积YOLO架构(RCS-YOLO)。我们提出了RCS和RCS的一次聚合(RCS- osa)，将特征级联和计算效率联系起来，以提取更丰富的信息并减少时间消耗。在脑肿瘤数据集Br35H上的实验结果表明，该模型在速度和精度上均优于YOLOv6、YOLOv7和YOLOv8。
YOLOv7改进之strSPPCSPC
weixin_47060902的博客
11-09 558
YOLOv7改进之strSPPCSPC
YOLOv7改进轻量化,引入轻量化骨干网络MobileOne
datayx的文章
10-30 1073
向AI转型的程序员都关注了这个号????????????一、前言MobileOne论文：https://arxiv.org/abs/2206.04040MobileOne github：https://github.com/apple/ml-mobileone二、基本原理使用Reparameterize重参数化实现模型的轻量化，基本模块如下图所示。三、改进方法说明：该部分的改进代码尽可能地根据官方代码的写法与YOL...
YOLOv7系列的改进：ACmix结构与自注意力和卷积的融合
QvisCs的博客
09-19 511
本文将介绍YOLOv7系列的改进，即ACmix结构与自注意力和卷积的融合，以提高其性能和效率。ACmix结构是一种自注意力和卷积的融合模块，通过将自注意力机制与卷积操作相结合，实现了特征的全局感知和局部细节的提取。这样，每个特征图都会经过自注意力模块和卷积模块的交替处理，从而同时实现全局感知和局部细节的提取。ACmix结构是一种自注意力和卷积的融合模块，通过将自注意力机制与卷积操作相结合，实现了特征的全局感知和局部细节的提取。卷积模块是传统的卷积操作，用于提取特征图中的局部细节。2.1 自注意力模块。
YOLOv7改进结构：结合DO-DConv卷积提升性能，构建高效检测器
IlgCrystal的博客
09-17 474
在YOLOv7中，我们引入了一种改进的结构，结合了DO-DConv（Depthwise Orthogonal Dilation Convolution）卷积，以进一步提高检测器的性能。在YOLOv7中，我们使用了DO-DConv卷积替代了部分标准卷积层，以增加感受野并提升特征的表达能力。DO-DConv卷积是一种基于深度可分离卷积和正交膨胀卷积的结合，它能够有效地捕捉目标的细节信息并提高感受野。在YOLOv7中，我们将DO-DConv卷积应用于主干网络和检测头部分，以增强特征表示能力和检测精度。
YOLOv7网络模型改进：网络配置文件更简洁实用！
带你成为别人眼中的大佬！
05-31 644
相比于YOLOv5，YOLOv7在保持准确率不变的情况下，使用更少的层数达到了更快的速度，同时还有更小的模型大小。本文将介绍YOLOv7的改进之处，以及如何使用网络配置文件快速修改模型。我们将每个卷积层、批量归一化层、ReLU激活函数以及全连接层的信息存储在配置文件中，然后在函数中解析配置文件，构建相应的层次，并将其设置为模型的属性。我们将网络配置文件存储为JSON格式，并读取配置文件中的信息以构建模型。以上是我们的改进，我们相信您可以使用这个网络配置文件快速修改YOLOv7网络模型。
yolov8引入simam 注意力模块
最新发布
09-11
要在YOLOv8中引入SimAM注意力模块，可以按照以下步骤进行： ### 1. 定义SimAM注意力模块 首先，需要定义SimAM注意力模块的代码。SimAM是一种轻量级的注意力机制，它不需要额外的参数，直接在特征图上计算注意力权重。以下是SimAM模块的代码实现： ```python import torch import torch.nn as nn class SimAM(nn.Module): def __init__(self, e_lambda=1e-4): super(SimAM, self).__init__() self.activaton = nn.Sigmoid() self.e_lambda = e_lambda def forward(self, x): b, c, h, w = x.size() n = w * h - 1 x_minus_mu_square = (x - x.mean(dim=[2, 3], keepdim=True)).pow(2) y = x_minus_mu_square / (4 * (x_minus_mu_square.sum(dim=[2, 3], keepdim=True) / n + self.e_lambda)) + 0.5 return x * self.activaton(y) ``` ### 2. 修改YOLOv8的模型结构 在YOLOv8中，通常需要修改模型的配置文件和相关的模型构建代码，以将SimAM模块插入到合适的位置。以下是一个示例，假设要将SimAM模块插入到YOLOv8的Backbone部分的某些层之后： ```python from ultralytics import YOLO from ultralytics.nn.modules import Conv # 加载预训练的YOLOv8模型 model = YOLO('yolov8n.pt') # 遍历模型的Backbone部分，插入SimAM模块 backbone = model.model.model[0] # 假设Backbone是模型的第0个模块 new_backbone = [] for layer in backbone: new_backbone.append(layer) if isinstance(layer, Conv): # 在Conv层之后插入SimAM模块 new_backbone.append(SimAM()) model.model.model[0] = nn.Sequential(*new_backbone) ``` ### 3. 训练和验证 插入SimAM模块后，可以使用修改后的模型进行训练和验证： ```python # 训练模型 model.train(data='path/to/data.yaml', epochs=100, imgsz=640) # 验证模型 results = model.val() ``` ### 注意事项 - **插入位置**：SimAM模块可以插入到不同的位置，如Backbone、Neck或Head部分，具体位置需要根据实际情况进行调整。 - **超参数调整**：SimAM模块中的`e_lambda`是一个超参数，需要根据具体任务进行调整。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能算法研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值