YOLOv5改进系列(二十四) 本文(3.5万字) | 在C3中添加12种注意力机制 | C3_SimAM | C3_CoT | C3_Double | C3_SK | C3_EffSE | 等 |

最新推荐文章于 2024-07-09 20:07:16 发布

小酒馆燃着灯

最新推荐文章于 2024-07-09 20:07:16 发布

阅读量997

点赞数 25

文章标签： YOLO 人工智能深度学习注意力机制 C3_SimAM C3_CoT C3_Double

本文链接：https://blog.csdn.net/weixin_44302770/article/details/135276151

版权

人工智能专栏计划专栏收录该内容

141 篇文章 7 订阅

已下架不支持订阅

文章目录

第一部分
- - 1. SimAM 注意力模块
  - - 1.1 原理
    - 1.2 C3_SimAM 代码
  - 2. CoTAttention 注意力模块
  - - 2.1 原理
    - 2.2 C3_CoT 代码
  - 3. SKAttention 注意力模块
  - - 3.1 原理
    - 3.2 C3_SK 代码
  - 4. DoubleAttention 注意力模块
  - - 4.1 原理
    - 4.2 C3_Double 代码
第二部分
- - 1. EffectiveSE 注意力模块
  - - 1.1 原理
    - 1.2 C3_EffectiveSE 代码
  - 2. GlobalContext 注意力模块
  - - 2.1 原理
    - 2.2 C3_GlobalContext 代码
  - 3. GatherExcite 注意力模块
  - - 3.1 原理
    - 3.2 C3_GatherExcite 代码
  - 4. MHSA 注意力模块
  - - 4.1 原理
    - 4.2 C3_MHSA 代码
第三部分
- - 1. Triplet 注意力模块
  - - 1.1 原理
    - 1.2 C3_Triplet 代码
  - 2. SpatialGroupEnhance 注意力模块
  - - 2.1 原理
    - 2.2 C3_SpatialGroupEnhance 代码
  - 3. NAM 注意力模块
  - - 3.1 原理
    - 3.2 C3_NAM 代码
  - 4. S2 注意力模块
  - - 4.1 原理
    - 4.2 C3_S2 代码
  - 5. 添加方式
  - 6. C3_Attention 结构图

第一部分

1. SimAM 注意力模块

论文名称：《SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks》

论文地址：http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

代码地址：https://github.com/ZjjConan/SimAM

1.1 原理

在这篇论文中，我们提出了一个概念上简单但非常有效的注意力模块，用于卷积神经网络。与现有的基于通道和空间的注意力模块不同，我们的模块通过推断特征图中的三维注意力权重来工作，而无需向原始网络添加参数。具体而言，我们基于一些著名的神经科学理论，并提出了优化能量函数以找到每个神经元重要性的方法。我们进一步推导了能量函数的快速闭合形式解，并展示了该解可以用不到十行代码实现。该模块的另一个优点是，大多数运算符是基于定义的能量函数解的选择，避免了过多的结构调整的工作。对各种视觉任务的定量评估表明，所提出的模块具有灵活性和有效

了解本专栏

小酒馆燃着灯

关注

25
点赞
踩
17

收藏

觉得还不错? 一键收藏
打赏
0
评论
YOLOv5改进系列(二十四) 本文(3.5万字) | 在C3中添加12种注意力机制 | C3_SimAM | C3_CoT | C3_Double | C3_SK | C3_EffSE | 等 |

人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程。
复制链接

扫一扫