YOLOv7 | 注意力机制 | 添加ECA注意力机制

已于 2024-05-29 16:38:58 修改
阅读量484 收藏 3
点赞数 2
分类专栏： YOLOv7/v9改进涨点合集 文章标签： YOLO
于 2024-03-26 16:16:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67647321/article/details/137049433
版权

目录

原理简介

代码实现

yaml文件实现（tips：可以添加不同的位置）

检查是否添加执行成功 

完整代码分享 

论文创新必备（可帮忙做实验）

启动命令

ECA是通道注意力机制的一种实现形式，是基于SE的扩展。

作者认为SE block的两个FC层之间的降维是不利于channel attention的权重学习的，并且捕获所有通道之间的依存关系是效率不高且是不必要的。权重学习的过程应该直接一一对应。

ECA 注意力机制模块直接在全局平均池化层之后使用1x1卷积层，去除了全连接层。该模块避免了维度缩减，并有效捕获了跨通道交互。并且ECA只涉及少数参数就能达到很好的效果。

ECA通过一维卷积 layers.Conv1D 来完成跨通道间的信息交互，卷积核的大小通过一个函数来自适应变化，使得通道数较大的层可以更多地进行跨通道交互。

⭐欢迎大家订阅我的专栏一起学习⭐

🚀🚀🚀订阅专栏，更新及时查看不迷路🚀🚀🚀
       YOLOv5涨点专栏：http://t.csdnimg.cn/CNQ32

YOLOv8涨点专栏：http://t.csdnimg.cn/tnoL5

YOLOv7专栏：http://t.csdnimg.cn/HsyvQ

💡魔改网络、复现论文、优化创新💡

最近，通道注意力机制已被证明在提高深度卷积神经网络（CNN）性能方面具有巨大潜力。然而，大多数现有方法致力于开发更复杂的注意力模块以实现更好的性能，这不可避免地增加了模型的复杂性。为了克服性能和复杂性权衡的悖论，（ECA）模块一种高效通道注意，该模块仅涉及少量参数，同时带来了明显的性能增益。通过剖析 SENet 中的通道注意力模块，凭经验证明避免降维对于学习通道注意力非常重要，适当的跨通道交互可以保持性能，同时显着降低模型复杂性。因此，一种无需降维的局部跨通道交互策略，可以通过一维卷积有效实现。此外，一种自适应选择一维卷积核大小的方法，确定局部跨通道交互的覆盖范围。ECA 模块高效且有效，

原理简介
ECA 模块图

给定通过全局平均池化 (GAP) 获得的聚合特征，ECA 通过执行大小为 k 的快速一维卷积来生成通道权重，其中 k 通过通道维度 C 的映射自适应确定。 

首先回顾 SENet 中的通道注意模块（即 SE 块）。然后，我们通过分析降维和跨渠道交互的影响，对 SE 区块进行实证诊断。这促使我们提出 ECA 模块。此外，一种自适应确定 ECA 参数的方法，并最终展示如何将其应用于深度 CNN。

在重新审视SE块之后，进行了实证比较，分析通道降维和跨通道交互对通道注意力学习的影响。根据这些分析，提出了高效的通道注意力（ECA）模块。

为了验证其效果，我们将原始 SE 块与其三个变体（即 SE-Var1、SE-Var2 和 SEVar3）进行比较，所有变体均不执行降维。结果表明通道注意力有能力提高深度CNN的性能。同时，SE-Var2独立学习每个通道的权重，在涉及的参数较少的情况下略优于SE块。这可能表明通道及其权重需要直接对应，同时避免降维比考虑非线性通道依赖性更重要。此外，采用单个 FC 层的 SEVar3 的性能优于在 SE 块中进行降维的两个 FC 层。所有上述结果都清楚地表明，避免降维有助于学习有效的通道注意力。因此，我们开发了没有通道降维的 ECA 模块。

代码实现
class ECAAttention(nn.Module):
    """Constructs a ECA module.
    Args:
        channel: Number of channels of the input feature map
        k_size: Adaptive selection of kernel size
    """

    def __init__(self, c1, k_size=3):
        super(ECAAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.conv = nn.Conv1d(1, 1, kernel_size=k_size, padding=(k_size - 1) // 2, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        # feature descriptor on the global spatial information
        y = self.avg_pool(x)
        y = self.conv(y.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1)
        # Multi-scale information fusion
        y = self.sigmoid(y)

        return x * y.expand_as(x)

我们专注于学习模型复杂度较低的深度 CNN 的有效通道注意力。为此，我们提出了一种高效的通道注意力（ECA）模块，它通过快速一维卷积生成通道注意力，其内核大小可以通过通道维度的非线性映射自适应地确定。实验结果表明，我们的 ECA 是一种极其轻量级的即插即用模块，可提高各种深度 CNN 架构的性能，包括广泛使用的 ResNet 和轻量级 MobileNetV2。此外，我们的 ECA-Net 在对象检测和实例分割任务中表现出良好的泛化能力。将来，我们将把我们的 ECA 模块应用到更多的 CNN 架构中（例如 ResNeXt 和 Inception），并进一步研究 ECA 与空间注意力模块的结合。

yaml文件实现（tips：可以添加不同的位置）
# parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  - [12,16, 19,36, 40,28]  # P3/8
  - [36,75, 76,55, 72,146]  # P4/16
  - [142,110, 192,243, 459,401]  # P5/32

# yolov7 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [32, 3, 1]],  # 0
  
   [-1, 1, Conv, [64, 3, 2]],  # 1-P1/2      
   [-1, 1, Conv, [64, 3, 1]],
   
   [-1, 1, Conv, [128, 3, 2]],  # 3-P2/4  
   [-1, 1, Conv, [64, 1, 1]],
   [-2, 1, Conv, [64, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]],  # 11
         
   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 16-P3/8  
   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]],  # 24
         
   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 29-P4/16  
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 37
         
   [-1, 1, MP, []],
   [-1, 1, Conv, [512, 1, 1]],
   [-3, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 42-P5/32  
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 50
   [-1, 1, ECAAttention, [1024]],
  ]

# yolov7 head
head:
  [[-1, 1, SPPCSPC, [512]], # 51
  
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [37, 1, Conv, [256, 1, 1]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 63
   
   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [24, 1, Conv, [128, 1, 1]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1]], # 75
      
   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3, 63], 1, Concat, [1]],
   
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 88
      
   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3, 51], 1, Concat, [1]],
   
   [-1, 1, Conv, [512, 1, 1]],
   [-2, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]], # 101
   [-1, 1, ECAAttention, [512]],
   
   [75, 1, RepConv, [256, 3, 1]],
   [88, 1, RepConv, [512, 3, 1]],
   [101, 1, RepConv, [1024, 3, 1]],

   [[104,105,106], 1, IDetect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]
检查是否添加执行成功 

出现下图所示的网络结构，则说明添加成功 

完整代码分享 
 https://pan.baidu.com/s/19zHFv0vail_GtinyP7KAgQ?pwd=begm

提取码: begm 

论文创新必备（可帮忙做实验）

启动命令
python train.py --weight --cfg ./path/yolov7.yaml # yolov7的yaml文件修改了网络结构，其他的未修改，可以自行尝试

kay_545
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
YOLOv5/v7 添加注意力机制，30多种模块分析④，CA模块，ECA模块
学Java，找哪吒
06-14 4475
CA（Coordinate Attention）模块是一种基于位置坐标的注意力机制，它可以在不同空间尺度上对特征图进行自适应的调整。
YOLOv8 | 注意力机制 | 添加ECA注意力机制
kay_545
03-25 400
ECA 模块图给定通过全局平均池化 (GAP) 获得的聚合特征，ECA 通过执行大小为 k 的快速一维卷积来生成通道权重，其中 k 通过通道维度 C 的映射自适应确定。首先回顾 SENet 中的通道注意模块（即 SE 块）。然后，我们通过分析降维和跨渠道交互的影响，对 SE 区块进行实证诊断。这促使我们提出 ECA 模块。此外，一种自适应确定 ECA 参数的方法，并最终展示如何将其应用于深度 CNN。在重新审视SE块之后，进行了实证比较，分析通道降维和跨通道交互对通道注意力学习的影响。
YOLOv8优化：注意力系列篇 | ECA注意力，效果秒杀CBAM、SE
会AI的学姐
10-21 2364
本文改进：ECA注意力，引入到YOLOv8，多种实现方式
[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现
热门推荐
A_John 的博客
04-20 4万+
[ 注意力机制 ] 经典网络模型3——ECANet 详解与复现 1、Efficient Channel Attention Module 2、ECANet 详解 3、ECANet 复现 简称 ``ECA``，2020年 提出的一种 ``高效通道注意力(ECA)模块`` ； 该模块只涉及少数几个 参数，但具有明显的 效果增益 ； 提出了一种 ``不降维`` 的局部跨信道交互策略，避免降维对于通道注意力学习效果的影响 ； 适当的 ``跨通道交互`` 可以在保持 *性能* 的同时 *显著降低模型的复杂性* ；..
YOLOv5改进 | 注意力机制 | 添加高效的通道注意力机制——ECA
最新发布
kay_545
05-13 835
yolov5改进，yolov5创新，注意力机制
【接上文--yolov8】添加CBAM、ECA、CA、MHSA注意力机制
m0_45426637的博客
12-18 3573
在目录.\ultralytics-main下创建文件test-model.py，在变量CFG中指定刚刚yaml文件的绝对路径或相对路径，执行python文件，若为pass，则表明添加成功；在.\ultralytics-main\ultralytics\models\v8路径下创建，将yolov8.yaml的代码复制粘贴到yolov8-ema.yaml文件中并在其中添加注意力机制模块代码。在替换原始的yaml模型文件，改新创建的yaml文件用于模型训练即可。导入task.py文件，并加入相关代码。
改进YOLOv8注意力系列三：结合CrissCrossAttention、ECAAttention、EMAU期望最大化注意力
qq_44224801的博客
12-24 1265
- YOLOv8轻松上手，适用技术小白，文章代码齐全，仅需一键train，解决YOLOv8的技术突破和创新潜能。
【深度学习注意力机制系列】—— ECANet注意力机制（附pytorch实现）
qq_43456016的博客
08-08 1万+
ECANet是一种高效的神经网络架构，通过引入通道注意力机制，能够有效地捕捉图像中的通道关系，提升特征表示的能力。它的结构包括通道注意力模块和嵌入式通道注意力模块，具有高效性、提升特征表示和减少过拟合等优势。通过这种设计，ECANet在图像处理任务中取得了优越的性能。
matlab注意力机制
12-06
图像处理注意力机制Attention汇总（附代码,SE、SK、ECA、CBAM、DA、CA等） 1. 介绍 注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理（NLP）、图像处理（CV）及语音识别等...
在ResNet18中嵌入视觉注意力机制.zip
02-06
自注意力机制
基于YOLOV8的注意力机制源代码获取，开箱即用
08-19
注意力机制包括： 1.CBAM； 2.GAM； 3.ResBlock_CBAM; ​4.Triplet注意力; 5. ShuffleAttention; 6.ECA; 7.SENet; 8. EffectiveSE; ​​9. GCNet; 10.GENet; 11.BAM;
Yolo改进-注意力机制大合集
04-04
注意力机制代码 SE CBAM ECA CA SimAM S2-MLPv2 NAMAttention Criss-CrossAttention GAMAttention Selective Kernel Attention ShuffleAttention A2-Net RFB CoTAttention EffectiveSEModule GatherExcite ...
注意力模块
weixin_64043217的博客
02-18 7872
注意力机制
Pytorch图像处理注意力机制SENet CBAM ECA模块解读
qq_43649937的博客
07-26 3535
pytorch python 人工智能注意力机制
ECA模块详解
weixin_52205764的博客
08-19 1151
作者认为这种做法学不到通道之间的关系，而应该转为学习邻居通道之间的关系，这个是比较有道理，因为我这里面的特征是人脸的。到这块其实注意力权重就已经算出来了，接下来需要把最后一维的。，每个元素是一个序列式的特征，比如是一个长为。是对通道先进行降采样，然后进行上采样，而。首先经过一个全局池化层，则张量。的序列，单个序列元素特征为。维上(按照索引来说应该是第。，所以张量的形状变成了。也就是张量的形状变成。
yolov7添加CA(Coordinate attention)注意力机制
qq_53545309的博客
08-25 1667
【代码】yolov7添加CA(Coordinate attention)注意力机制。
YOLOV7改进--添加CBAM注意力机制
qq_43114108的博客
07-27 3万+
YOLOV7改进--添加CBAM注意力机制
YOLOv8添加注意力机制小总结
weixin_42001184的博客
09-15 5801
注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度（Acuity），只有视网膜中央凹部位具有最强的敏锐度。简而言之，注意力机制源于自然界人类视觉的研究。人类的视觉会天然地进行一个抉择，就是选择性地关注所有信息的一个部分，同事就会忽略其他可见的信息。就属于是合理的利用有限的信息处理资源。
yolov7添加ECA注意力机制
09-08
您好！关于在YOLOv7中添加ECA注意力机制，我可以为您提供一些指导。 首先，ECA（Efficient Channel Attention）注意力机制是一种轻量级的通道注意力机制，可以用于增强模型对图像不同通道的重要性的感知能力。在YOLOv7中，您可以按照以下步骤进行处理： 1. 导入所需的库和模块： ```python import torch import torch.nn as nn ``` 2. 定义ECA注意力模块： ```python class ECA(nn.Module): def __init__(self, channels, gamma=2): super(ECA, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.conv = nn.Conv1d(1, 1, kernel_size=3, padding=1, bias=False) self.sigmoid = nn.Sigmoid() self.gamma = gamma def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = y.unsqueeze(2) y = self.conv(y) y = y.squeeze(2) y = self.sigmoid(y) y = y.view(b, c, 1, 1) x = x * (self.gamma * y + 1) return x ``` 3. 在YOLOv7的主干网络中使用ECA注意力模块： ```python class ConvBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1): super(ConvBlock, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding=(kernel_size - 1) // 2, bias=False) self.bn = nn.BatchNorm2d(out_channels) self.activation = nn.LeakyReLU(0.1, inplace=True) self.eca = ECA(out_channels) def forward(self, x): x = self.conv(x) x = self.bn(x) x = self.activation(x) x = self.eca(x) return x ``` 这样，您就可以在YOLOv7的主干网络中添加ECA注意力机制了。记得要根据您的实际需求调整ECA模块的参数，例如`gamma`值。希望这能对您有所帮助！如有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kay_545

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值