即插即用篇 | YOLOv10 引入 SKAttention 注意力机制 | 《Selective Kernel Networks》

最新推荐文章于 2024-08-18 21:35:51 发布
最新推荐文章于 2024-08-18 21:35:51 发布
阅读量96 收藏
点赞数
分类专栏： YOLOv10改进实战 文章标签： YOLO YOLOv10 目标检测 改进 论文
原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。
本文链接：https://blog.csdn.net/weixin_43694096/article/details/141305690
版权
YOLOv10改进实战 专栏收录该内容
81 篇文章 44 订阅 ¥299.90 ¥399.90
订阅专栏

在这里插入图片描述

论文名称：《Selective Kernel Networks》

论文地址：https://arxiv.org/pdf/1903.06586.pdf

代码地址：https://github.com/implus/SKNet

文章目录

1 原理

在标准的卷积神经网络中，每层人工神经元的感受野被设计为具有相同的大小。神经科学界已经广泛认识到，视觉皮层神经元的感受野大小会受到刺激的调节，然而在构建CNN时很少考虑这一点。我们提出了一种动态选择机制，使得CNN中的每个神经元可以根据多个输入信息的尺度自适应地调整其感受野大小。我们设计了一个称为Selective Kernel (SK)单元的构建块，其中使用softmax注意力将具有不同核大小的多个分支进行融合，这种注意力受到这些分支中的信息

了解本专栏 订阅专栏 解锁全文
迪菲赫尔曼
关注
专栏目录
订阅专栏
即插即用篇 | YOLOv8 引入 Triplet 注意力机制 | 《Rotate to Attend: Convolutional Triplet Attention Module》
YOLOv8项目贡献者
03-06 967
YOLOv8 引入 Triplet 注意力机制 | 《Rotate to Attend: Convolutional Triplet Attention Module》
Gather-Excite:Exploiting Feature Context in Convolutional Neural Networks
Acmer_future_victor的博客
03-12 4435
Gather-Excite:Exploiting Feature Context in Convolutional Neural Networks Gather-Excite：在卷积神经网络中利用特征上下文 Abstract 尽管在卷积神经网络（CNN）中使用自底向上的局部运算符可以很好地匹配自然图像的某些统计信息，但它也可能阻止此类模型捕获上下文的远程特征交互。在这项工作中，我们提出了一种简单，轻量级的方法，以在CNN中更好地利用上下文。我们通过引入一对运算符来做到这一点：Gather，可以有效地在很大的
即插即用篇 | YOLOv8 引入 GatherExcite 注意力机制 | 《Gather-Excite: Exploiting Feature Context in Convolutional》
YOLOv8项目贡献者
03-01 726
即插即用篇 | YOLOv8 引入 GatherExcite 注意力机制 | 《Gather-Excite: Exploiting Feature Context in Convolutional》
YOLOV8改进：TripletAttention | 即插即用的轻量级注意力机制
m0_51530640的博客
09-07 1074
由于注意机制具有在通道或空间位置之间建立相互依赖关系的能力，近年来在各种计算机视觉任务中得到了广泛的研究和应用。在本文中，我们研究了轻量级但有效的注意机制，并提出了三重注意，这是一种利用三分支结构捕获跨维交互来计算注意权重的新方法。对于输入张量，三元组注意力通过旋转操作建立维度间依赖关系，然后进行残差变换，并以可忽略不计的计算开销对通道间和空间信息进行编码。我们的方法简单高效，可以作为附加模块轻松插入经典骨干网。
Gather-Excite Attention
00000cj的博客
08-27 885
本文的切入点在于contextexploitation，其实就是空间维度的注意力机制，和BAM、CBAM的区别在于BAM在空间维度使用的普通卷积，最后输出的是单通道的特征图，因此在与原始特征图进行element-wisemultiplication时每一个像素在所有通道上的权重是相同的。\(GE-\theta\)中gather是通过深度卷积实现的。\(GE-\theta^{+}\)则是结合了SE的思想，在\(GE-\theta\)的后面先通过一个1x1卷积缩减通道，再通过一个1x1卷积还原回去。......
即插即用篇 | YOLOv8 引入 SKAttention 注意力机制 | 《Selective Kernel Networks》
YOLOv8项目贡献者
03-01 1181
即插即用篇 | YOLOv8 引入 SKAttention 注意力机制 | 《Selective Kernel Networks》
即插即用篇 | YOLOv10 引入 ParNetAttention 注意力机制 | 《NON-DEEP NETWORKS》
最新发布
YOLOv8项目贡献者
08-18 132
即插即用篇 | YOLOv10 引入 ParNetAttention 注意力机制 | 《NON-DEEP NETWORKS》
即插即用篇 | YOLOv10 引入 DoubleAttention 注意力机制 | 《A2-Nets: Double Attention Networks》
YOLOv8项目贡献者
08-18 104
即插即用篇 | YOLOv10 引入 DoubleAttention 注意力机制 | 《A2-Nets: Double Attention Networks》
即插即用篇 | YOLOv10 引入 Contextual Trans 注意力机制 | 《Contextual Transformer Networks for Visual Recognition》
YOLOv8项目贡献者
08-18 71
即插即用篇 | YOLOv10 引入 Contextual Trans 注意力机制 | 《Contextual Transformer Networks for Visual Recognition》
计算机视觉——语义分割入门级综述
不务正业的程序媛的博客
09-21 1552
计算机视觉——语义分割语义分割是什么？语义分割评价语义分割数据集经典算法介绍FCNPyramid Scene Parsing NetworkDeeplab V1 V2 V3 V3plusUperNetSqueeze-and-Excitation NetworksSelective Kernel NetworksGather-Excite: Exploiting Feature Context in Convolutional Neural NetworksCBAMENCnetPSANetAttention
pytorch代码实现注意力机制之GE
DM_zx的博客
09-07 792
注意力机制之GE
一文看尽深度学习中的各种注意力机制（1998-2020年）
热门推荐
阿木寺的博客
06-29 5万+
导读视觉注意力机制是人类视觉所特有的一种大脑信号处理机制，而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式。一般来说，人类在观察外界环境时会迅速的扫描全景，然后根据大脑信号的处理...
NIPS2018深度学习(26)|亮点:代表样本选择;上下文卷积网络;反馈编码(论文及代码)...
hestendelin的专栏
06-10 1239
[1]Representer Point Selection for Explaining Deep Neural NetworksChih-Kuan Yeh, Joo...
从频域角度重新思考注意力机制——FcaNet
我爱计算机视觉
12-26 5466
本文转自知乎，已获作者授权转载，请勿二次转载。这是一篇非常棒的文章，既有对注意力机制较为系统的总结，也有对前几天刚出的频域注意力方法FcaNet（相关介绍在我们的知乎专栏CV Daily...
CNN经典结构（Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densenet, Senet, BAM,mobilenet）及其pytorch实现
xu_fu_yong的专栏
06-19 8596
CNN经典结构（Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densenet, Senet, BAM, CBAM, genet, sknet, mobilenet）及其pytorch实现 前言 本文主要介绍2012-2019年的一些经典CNN结构，从Lenet，AlexNet，VGG，GoogleNet，ResNet, Resnext, Densene...
「Deep Learning」Note on Gather and Excite Network (GENet)
小锋子Shawn
11-17 2781
QQ Group: 428014259 Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/84179196 SENet之后，Jie Hu和Li Shen等人又提出GENet[1]。 作者：Jie Hu, Li Shen, Samuel Alb...
NIPS 2018 paper list（论文列表）
人工智能技术学习与分享
12-03 1万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization Francis Bach Structure-Aware Convolutional Neural Networks Jianlong Chang, Jie Gu, Lingfeng Wang, GAOFENG MENG, ...
热门CNN模型整理
qian1122221的博客
05-19 2968
pytorch实现的CNN模型 https://github.com/BIGBALLON/CIFAR-ZOO 1.LENET https://my.oschina.net/u/876354/blog/1632862 个人总结： 都是经典的操作，卷积，池化，卷积，池化，卷积，全连接，全连接。特别的就是C3的卷积不是连接所有channel，这边的池化也是带两个参数w，b的。 2.ALE...
yolov5 simam注意力机制
08-19
Yolov5 SimAM是Yolov5目标检测算法中的一种注意力机制。SimAM是一种无参注意力机制，与SE（Squeeze-and-Excitation）、CBAM（Convolutional Block Attention Module）、ECA（Efficient Channel Attention）等相比，在推理速度方面表现相当，优于CBAM和SRM（Selective Refinement Module）。SimAM可以通过在Yolov5的配置文件.yaml中进行相应的配置来启用。 注意力机制在计算机视觉领域中被广泛应用，用于提取图像中重要的特征信息。SE、Coordinate Attention、CBAM、ECA、SimAM等都是常见的注意力机制。每种注意力机制都有其独特的原理和应用场景。SE注意力机制主要关注通道间的关系，CBAM注意力机制则结合了通道注意力和空间注意力，ECA注意力机制则通过计算通道之间的自适应加权系数来增强特征表示能力，而SimAM是一种无参注意力机制，不需要额外的参数学习。 总之，Yolov5中的SimAM注意力机制是一种推理速度较快且表现优秀的无参注意力机制，可以通过在配置文件.yaml中进行相应的配置来启用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Yolov5添加注意力机制](https://blog.csdn.net/m0_56247038/article/details/124845508)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）](https://blog.csdn.net/m0_53578855/article/details/127419661)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迪菲赫尔曼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值