YOLOv5改进系列(二十七) 在 C3 模块中添加 12 种注意力机制C3_SimAM, C3_CoT, C3_Double, C3_SK, C3_EffSE, C3_GatherE等

小酒馆燃着灯

已于 2025-04-25 14:14:04 修改

阅读量1.5k

点赞数 25

分类专栏：人工智能（机器学习-深度学习-目标检测）文章标签： YOLO 深度学习人工智能 pytorch python

于 2023-12-18 17:32:14 首次发布

本文链接：https://blog.csdn.net/weixin_44302770/article/details/135067826

版权

人工智能（机器学习-深度学习-目标检测）专栏收录该内容

95 篇文章 ¥29.90 ¥99.00

订阅专栏

文章目录

第一部分
- - 1. SimAM 注意力模块
  - - 1.1 原理
    - 1.2 C3_SimAM 代码
  - 2. CoTAttention 注意力模块
  - - 2.1 原理
    - 2.2 C3_CoT 代码
  - 3. SKAttention 注意力模块
  - - 3.1 原理
    - 3.2 C3_SK 代码
  - 4. DoubleAttention 注意力模块
  - - 4.1 原理
    - 4.2 C3_Double 代码
第二部分
- - 1. EffectiveSE 注意力模块
  - - 1.1 原理
    - 1.2 C3_EffectiveSE 代码
  - 2. GlobalContext 注意力模块
  - - 2.1 原理
    - 2.2 C3_GlobalContext 代码
  - 3. GatherExcite 注意力模块
  - - 3.1 原理
    - 3.2 C3_GatherExcite 代码
  - 4. MHSA 注意力模块
  - - 4.1 原理
    - 4.2 C3_MHSA 代码
第三部分
- - 1. Triplet 注意力模块
  - - 1.1 原理
    - 1.2 C3_Triplet 代码
  - 2. SpatialGroupEnhance 注意力模块
  - - 2.1 原理
    - 2.2 C3_SpatialGroupEnhance 代码
  - 3. NAM 注意力模块
  - - 3.1 原理
    - 3.2 C3_NAM 代码
  - 4. S2 注意力模块
  - - 4.1 原理
    - 4.2 C3_S2 代码
  - 5. 添加方式
  - 6. C3_Attention 结构图

第一部分

1. SimAM 注意力模块

论文名称：《SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks》

论文地址：http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

代码地址：https://github.com/ZjjConan/SimAM

1.1 原理

在这篇论文中，我们提出了一个概念上简单但非常有效的注意力模块，用于卷积神经网络。与现有的基于通道和空间的注意力模块不同，我们的模块通过推断特征图中的三维注意力权重来工作，而无需向原始网络添加参数。具体而言，我们基于一些著名的神经科学理论，并提出了优化能量函数以找到每个神经元重要性的方法。我们进一步推导了能量函数的快速闭合形式解，并展示了该解可以用不到十行代码实现。该模块的另一个优点是，大多数运算符是基于定义的能量函数解的选择，避免了过多的结构调整的工作。对各种视觉任务的定量评估表明，所提出的模块具有灵活性和有效性，可以提高许多ConvNets的表征能力。

了解本专栏