Attention机制中SEnet CBAM以及Dual pooling的pytorch实现

最新推荐文章于 2024-08-01 22:26:03 发布
最新推荐文章于 2024-08-01 22:26:03 发布
阅读量2.7k 收藏 41
点赞数 7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eilot_c/article/details/106858204
版权

本来自己写了，关于SENet的注意力截止，但是在准备写其他注意力机制代码的时候，看到一篇文章总结的很好，所以对此篇文章进行搬运，以供自己查阅，并加上自己的理解。

[TOC]

1.SENET中的channel-wise加权的实现

实现代码参考自：senet.pytorch
senet
代码如下：
SEnet 模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

 from torch import nn
class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y. (x)

senet2
以上代码设计到的API：

  • AdaptiveAvgPool2d: 自适应平均池化，参数为（n,m）则将原来的feature（w,h）通过pooling得到（n,m）的feature，如果是（n）,则将原来的feature从（w,h）通过pooling得到（n,n）
  • Sequential: torch容器，存放网络层等内容。
  • Linear: 线性层，参数为（in, out）,将原有的in个feature转为out个feature
  • ReLU: 激活层， inplace进行原地操作，节省内存
  • Sigmoid: 激活层，将输入压缩到0-1
    分析forward进行模型的构建：
  • x是输入的feature,一般各个通道意义如下：（batch size，channel, width , height）,这里获取了batch(b), channel

  • x通过AdaptiveAvgPool2d(1)以后将得到（batch size, channel, 1, 1）, 然后view（b,c）意思是按照b,c进行展开

    1
2
3
4
5
6
7
8
9
10

    In [1]: import torch
In [2]:  x = torch.zeros((16,256,256,256))
In [3]:  import torch.nn as nn
In [4]: avg_pool = nn.AdaptiveAvgPool2d(1)
In [5]: avg_pool(x).shape
Out[5]: torch.Size([16, 256, 1, 1])
In [6]: avg_pool(x).view((16,256)).shape
Out[6]: torch.Size([16, 256])
In [7]: avg_pool(x).squeeze().shape # squeeze()函数也可以将所有通道个数为1的进行挤压
Out[7]: torch.Size([16, 256])

  • 然后形状为【16, 256】的tensor经过fc:

  • (1) Linear: from 256(channel) to 256/16
  • (2) R
最低0.47元/天 解锁文章
eilot_c
关注
『论文笔记』CBAM:Convolutional Block Attention Module(注意力机制)+TensorFlow2.0复现
AI新视界
12-30 1万+
本文提出了卷积块注意模块(CBAM)，这是一个简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下，我们的模块按照通道和空间两个独立的维度依次推断注意图，然后将注意图乘入输入特征图进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，开销可以忽略不计，并且可以与基本CNNs一起进行端到端的培训。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上的大量实验来验证我们的CBAM。
【CV中的Attention机制】易于集成的Convolutional Block Attention Module(CBAM模块)
pprp的博客
12-31 2569
前言： 这是CV中的Attention机制专栏的第一篇博客，并没有挑选实现起来最简单的SENet作为例子，而是使用了CBAM作为第一个讲解的模块，这是由于其使用的广泛性以及易于集成。目前cv领域借鉴了nlp领域的attention机制以后生产出了很多有用的基于attention机制的论文，attention机制也是在2019年论文中非常火。这篇cbam虽然是在2018年提出的，但是其影响力比较深...
Coordinate Attention +resnet+pytorch实现
qq_37278761的博客
05-25 4677
# CA (coordinate attention) import torch import torch.nn as nn import math import torch.nn.functional as F from torchsummary import summary import torch.utils.model_zoo as model_zoo __all__ = ['ResNet', 'resnet18', 'resnet34', 'resnet50', 'resnet101',
计算机视觉注意力机制
qq_41131535的博客
10-11 532
注意力机制，就是对学习到的feature进行权重分配，以得到我们最关注的区域特征（包括空域，时域以及通道信息） 1 Transformer 参考https://zhuanlan.zhihu.com/p/48508221 a self-attention 在self-attention中，每个输入特征input feature会通过卷积得到3个不同的向量，它们分别是Query向量，Key向量和Va...
空间域注意力机制（Spatial Attention）
最新发布
kuailezzf的博客
08-01 1606
空间域注意力机制（Spatial Attention）是深度学习中一种重要的注意力机制，用于在处理如图像或视频数据时聚焦于特定区域，以提高模型的性能和效率。举例来说，首先，卷积神经网络处理一张图像，经过特征提取后得到特征图。然后，空间域注意力机制就可以通过计算每个像素点的注意力权重，集中模型的注意力在图像中最重要的区域，例如目标的周围或者有信息丰富的区域。这种机制使得模型能够更有效地处理复杂的视觉任务，提高其性能和泛化能力。
TensorFlow实现自注意力机制（Self-attention）
盼小辉丶的博客
07-19 2万+
自注意力机制 (Self-attention) 随着自然语言处理 (Natural Language Processing, NLP) 模型（称为“Transformer”）的引入而变得流行。可以利用自注意力来观察特征图中的每个像素，并将注意力集中在更加重要的像素上。
Attention注意力机制学习（一）-------＞SENet
RayChiu757374816的博客
04-05 3196
CV中引入注意力机制
Attention机制中CBAM以及Dual pooling的pytorch实现
pprp的博客
11-29 4788
前言：虽然会pytorch框架中的一些基础操作，但是有很多实现直接让自己写还是挺困难的。本次的代码参考senet中的channel-wise加权，CBAM中的channel-attention和spatial-attention, 另外还有kaggle Master@gray 分享的Dual pooling。由于没有特别的逻辑，所以看到哪写到哪吧。 1. SENET中的channel-wise...
SENET与 CBAM 注意力机制
weixin_45086338的博客
08-04 1407
原文链接：https://blog.csdn.net/xu380393916/article/details/109304082 一、SENET SENET是2017年的世界冠军，SE全称Squeeze-and-Excitation是一个模块，将现有的网络嵌入SE模块的话，那么该网络就是SENet，它几乎可以嵌入当前流行的任何网络，那么为什么会引出这个东西呢，来看下图： SE结构 一个SEblock的过程分为 Squeeze(压缩) 和 Excitation(激发) 两个步骤： Squeeze(压缩) 通
ResNet的学习笔记~
墨门
09-02 833
1 前言 今天在学习ResNet~ 一直在学习和研究ResNet，不过有些东西一直没有弄懂，觉得还是需要通过实验来验证一下， 今天在学习CS231n时，Yang助教又讲到ResNet，这里我们再来复习和梳理一下ResNet的创作思想~ 首先，ResNet解决了一个什么样的问题呢？ 2 恒等映射的问题 根据Yang助教的说法，ResNet想要解决的问题是“恒等映射的问题”， 具体来说，就是：何教授认...
数字图像处理100问—07平均池化（Average Pooling）
cv_rsrc的博客
04-26 2457
提示：内容整理自：https://github.com/gzr2017/ImageProcessing100Wen CV小白从0开始学数字图像处理 06平均池化（Average Pooling） 将图片按照固定大小网格分割，网格内的像素值取网格内所有像素的平均值。我们将这种把图片使用均等大小网格分割，并求网格内代表值的操作称为池化（Pooling）。池化操作是卷积神经网络（Convolutional Neural Network）中重要的图像处理方式。平均池化按照下式定义： v = 1/|R| * Sum.
注意力机制在CNN中使用总结
热门推荐
AI浩
03-06 5万+
注意力机制大概分为以下，Spatial domain，Channel domain，Mixed domain以及Self-attention。接下来简单介绍这部分方法。 1、通道注意力机制和空间注意力机制 Convolutional Block Attention Module (CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于senet只关注通道（channel）的注意力机制可以取得更好的效果。 通道注意力：将输入的fe
注意力机制总结
专注人工智能，主攻CV
10-28 6455
论文：论文：论文：X∈RH′×W′×C′U∈RH×W×CU∈RH×W×CUU^U∈RH×W×CS∈RCZ∈RdZA∈RC×dB∈RC×da∈RCb∈RCabUU^ab1UU。
记录Pytorch中遇到的问题
anshiquanshu的专栏
09-18 4369
突然发现之前遇到的问题是容易反复遇到的，那就随手做一个整理吧~ 1. 在feature层到classifier层中，若出现如下错误： 则需要改变FC层的入口参数，如此图中可以改为： x = x.view(out.size(0), -1) self.linear = nn.Linear(320, 10) # 320为入口参数 2. 训练中training accuracy有变化，但test accuracy始终为10%(图片分类)： 可能是由于learning rate太大导致的，如lr=0.
2021综述：计算机视觉中的注意力机制(续二）：空间注意力
顾道长生的科研笔记
05-01 1万+
文章目录3.3 Spatial Attention3.3.1 RAM3.3.2 Glimpse Network3.3.3 Hard and soft attention3.3.4 Attention Gate3.3.5 STN3.3.6 Deformable Convolutional Networks3.3.7 Self-attention and variants3.3.8 Vision T ransformers3.3.9 GENet3.3.10 PSANet参考文献 3.3 Spatial Atte
全连接层及其注意力attention的参数量和计算量分析
张小殊的博客
11-20 8454
本篇文章对liner和Multi-Head Attention以及其他常见结构的参数量和计算量进行分析，以及对自动计算模型参数量和计算量的工具库ptflops进行简单介绍。
yolov7改进--添加CBAM模块（注意力机制）
u012661539的博客
06-06 3065
【代码】改进yolov7--添加CBAM模块（注意力机制）
resnet代码详解
qq_36027459的博客
12-14 1488
class Bottleneck(nn.Module): //一个残差块的结构。第一个1*1卷积会缩小通道数，第二个3*3卷积，第三个1*1卷积会变回原来的通道数 expansion = 4 //inplanes:输入通道； planes*expansion:输出通道； def __init__(self, inplanes, planes, stride=1,...
SENet、CBAM区别和应用以及对应的pytorch代码
05-22
SENet和CBAM都是用于图像分类的注意力机制模块，可以提高模型的性能。 SENet（Squeeze-and-Excitation Networks）通过引入一个称为“Squeeze-and-Excitation block”的模块来增强卷积神经网络的表示能力。SE block包含两个步骤：第一步是全局平均池化，将每个通道的特征图转换为一个标量；第二步是使用两个全连接层来学习每个通道的权重，以增强有用信息并削减噪声。SENet的优化是通过提高通道相关性来实现的。 CBAM（Convolutional Block Attention Module）是另一种注意力机制模块，它通过在通道和空间维度上使用注意力来提高卷积神经网络的性能。CBAM模块包含两个分支：一个分支用于学习通道级别的注意力，另一个分支用于学习空间级别的注意力。通过这种方式，CBAM可以提高模型的表示能力并消除噪声。 以下是SENet和CBAM的Pytorch实现代码： SENet: ```python import torch.nn as nn import torch class SEBlock(nn.Module): def __init__(self, channel, reduction=16): super(SEBlock, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) ``` CBAM: ```python import torch.nn as nn import torch class ChannelAttention(nn.Module): def __init__(self, channel, reduction=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Conv2d(channel, channel // reduction, 1, bias=False) self.relu1 = nn.ReLU() self.fc2 = nn.Conv2d(channel // reduction, channel, 1, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x)))) max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x)))) out = avg_out + max_out return self.sigmoid(out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) x = torch.cat([avg_out, max_out], dim=1) x = self.conv1(x) return self.sigmoid(x) class CBAM(nn.Module): def __init__(self, channel, reduction=16, kernel_size=7): super(CBAM, self).__init__() self.ChannelGate = ChannelAttention(channel, reduction=reduction) self.SpatialGate = SpatialAttention(kernel_size=kernel_size) def forward(self, x): x_out = self.ChannelGate(x) * x x_out = self.SpatialGate(x_out) * x_out return x_out ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值