两种特征图self-Attention-block上算法差异的个人见解

最新推荐文章于 2024-06-19 10:08:10 发布
最新推荐文章于 2024-06-19 10:08:10 发布
阅读量667 收藏
点赞数
分类专栏： 语义分割 文章标签： 算法 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mahuatengmmp/article/details/120181205
版权

本篇纯个人见解，如有错误请指出

文章素材及资料来源

【极市】李夏-语义分割中的自注意力机制和低秩重建[https://www.bilibili.com/video/BV11E411y7Dr]

流程图

在这里插入图片描述

左为NonLocal,右为A^2，其中N代表特征图中的像素数目，C代表channel数，HW为高宽，我们都知道C的数量一定是远小于N的数量的，K代表种类(也可能不是)
由于矩阵的乘法结合律，这两种算法计算出来的信息是差不多的
对比两个都计算复杂度，左边的复杂度相当于是NNC，右边为NCC

NonLocal

Q与K叉乘
进行了像素之间的Attention
之后再乘上V

A^2

K与V叉乘
对通道之间做Attention，打个比方，每个通道都是一张图，也就是每张图之间进行注意力计算，比如背景图与某个物体的图之间进行计算。
之后Q与其叉乘

总结

两种算法都实现了图中物体之间的attention，但计算复杂度完全不一样
并且第一种算法随着图像像素的提升，复杂程度也会不断增加

比如100x100x256的特征图

第一种复杂度为10000x10000x256=2.56e+10
第二种复杂度为10000x256x256=6.5536e+8

512x512x256的特征图

第一种为1.7e+13
第二种为1.7e+10

mahuatengmmp
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
特征图注意力_CVPR2020 图像识别之自注意力机制
weixin_39872044的博客
11-21 832
Exploring Self-attention for Image RecognitionExploring Self-attention for Image Recognition​arxiv.org一 文章出发点现在哪哪都用的注意力。文章认为传统的卷积可分为，特征聚集（空间卷积)+特征变化（通道卷积），实际也就是分通道独立卷积的思想。而且特征聚集中3*3卷积所考虑的空间大小固定，所以作者也...
一文看懂CV中的注意力机制
iFlyAI的博客
11-26 1980
摘要: 计算机视觉领域注意力机制的开篇之作。提出了non-local operations，使用自注意力机制建立远程依赖。- local operations: 卷积(对局部领域)、recurrent(对当前/前一时刻)等操作。- non-local operations用于捕获长距 ... 人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线训练的一站式服务平台。每周免费提供项目...
【网络结构】注意力机制Attention block
weixin_41798111的博客
04-17 3194
CSDN：https://blog.csdn.net/qq_40027052/article/details/78421155#t0 计算机视觉中的Attention：https://zhuanlan.zhihu.com/p/32928645 图像识别：基于位置的柔性注意力机制:https://zhuanlan.zhihu.com/p/33158614 数字串识别：基于位置的硬性注意力机制:...
编码器的稀疏注意力块（ProbSparse Self-Attention Block）
m0_51200050的博客
06-19 1069
稀疏注意力块是Informer模型的核心组件之一，旨在高效处理长时间序列数据。它通过稀疏自注意力机制（ProbSparse Self-Attention）显著降低计算复杂度，同时保持较高的性能。
特征图注意力_DANet中两种注意力模块分析
weixin_39945789的博客
11-22 377
DANet：《Dual Attention Network for Scene Segmentation》论文地址：Dual Attention Network for Scene Segmentation​arxiv.org文中主要创新点为空间注意力机制与通道注意力机制两种机制看着简单，不过却有着向量乘积的理论依据，即当两个向量乘积越大时，说明向量的夹角越小，两个向量相关性越强。下面通过实际计算...
SA-GAN： self-attention 的 pytorch 实现（针对图像）
月下花弄影
02-18 6896
############################## # self attention layer # author Xu Mingle # time Feb 18, 2019 ############################## import torch.nn.Module import torch import torch.nn.init def init_conv(conv,...
机器学习笔记（8）Transformer(一):self-attention与block
qq_37662375的博客
03-26 1955
这里是关于Transformer的基本介绍，其中提到对于Transformer来说self-attention模块的引入尤为重要，这里简单记录一下对于self-attention的简单理解。 首先self-attention模块的工作原理不很复杂，是说对于一个y=wx，其中w的计算是接借助xi与X中xi的补集点积得到的，这句话描述的不太清晰，但结合第四幅图基本就清晰了。 那么self=attention为什么可以工作哪？图四也给出了原因：self-attention关注的是两个矢量之间的信息传播...
【深度学习模型】cv中Attention的奇妙旅途——讲讲Self-Attention, SENet和CBAM
tobefans的博客
06-23 1129
由于注意力机制的高速发展，我尝试着对attention形成一种比较系统化的理解，选了比较有代表性的Self-Attention, SENet和CBAM，整理成本文。
Self-Attention-Keras：自我关注与文本分类
02-03
IMDB影评高度分类数据集，来自IMDB的25,000条影评，被标记为正面/纵向两种评价。影评已被预先为词下标构成的序列。方便起见，单词的下标基于它在数据集中出现的频率标定，例如整数3所编码的词为数据集中第3常出现的...
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
安装pip install keras-self-attention用法基本的默认情况下，注意力层使用附加注意力并在计算相关性时考虑整个上下文。 以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的...
分别基于深度学习GMM算法和self-attention算法实现的人说话声纹识别python源码+项目说明.zip
12-15
分别基于深度学习GMM算法和self-attention算法实现的人说话声纹识别python源码+项目说明.zip 基于GMM的声纹识别 ### 1.1 测试环境： - 操作系统：Windows10 - 代码环境：Python3.6 - 主要用到的开源库：sklearn、...
自注意力机制(Self-Attention)
最新发布
07-18
自注意力机制(Self-Attention)
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
Self-attention
qq_61094172的博客
03-18 392
Self-attention 然后你Input几个Vector,它就输出几个Vector,比如说你这边Input一个深蓝色的Vector,这边就给你一个另外一个Vector。这边给个浅蓝色,它就给你另外一个Vector,这边输入4个Vector,它就Output 4个Vector。 这4个Vector,他们都是考虑一整个Sequence以后才得到的。 Self-Attention不是只能用一次,你可以叠加很多次。所以可以把Fully-Connected的Network,跟Self-Attent
Self-Attention自注意力机制
bingo_liu的博客
11-09 810
目的 学习输入序列中每个个体与其他个体的依赖重要程度（权重），这里的个体对应nlp的字或词 获得个体在上下文的特征。词袋模型只能通过embedding获取静态特征，无法表征个体在上下文的含义，通常用来初始化embedding 并行计算，不同于lstm、rnn的第n个timestep依赖于前1个timestep 计算过程 step1 计算qqq kkk vvv 假设输入序列为’Thinking Machines’，通过embedding得到向量X1X_1X1​、X2X_2X2​ ∈\in∈ Rembeddin
Attention机制学习记录（三）
pengxiang1998的博客
10-22 1316
通过Query和存储器内元素Key的地址进行相似性比较来寻址，之所以说是软寻址，指的不像一般寻址只从存储内容里面找出一条内容，而是可能从每个Key地址都会取出内容，取出内容的重要性根据Query和Key的相似性来决定，之后对Value进行加权求和，这样就可以取出最终的Value值，也即Attention值。Attention机制的具体计算过程，如果对目前大多数方法进行抽象的话，可以将其归纳为两个过程：第一个过程是根据Query和Key计算权重系数，第二个过程根据权重系数对Value进行加权求和。
Attention机制论文（Convolutional Block Attention Module）理解
jiaken2660的专栏
07-01 819
1. Attention机制很多，比较有代表的有： SENet, 2017年ImageNet分类上的冠军，属于通道注意力机制。 Google DeepMind提出的STN网络(Spatial Transformer Network），属于空间注意力机制。 Google 的Attention is all your need。 CBAM,也就是本篇论文，作者将通道注意力机制和空间注意力机制结合起来。 2. 作者给出的贡献主要有： 1. We propose a simple yet effectiv
CABNet论文学习笔记
mengfanfan1的博客
08-10 1994
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习..
视觉注意力机制 | Non-local模块与Self-attention的之间的关系与区别？
09-23 2310
什么是视觉中的注意力机制？ 计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关注重点信息。 近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形成了注意力。 注意力机制一种是软注意力(soft attention)，另一种则是强注意力(
ProbSparse self-attention与self-attention的区别
03-31
ProbSparse self-attention是一种稀疏化的self-attention模型，与传统的self-attention模型有所不同。传统的self-attention模型在计算注意力权重时，需要对所有输入序列的位置进行计算。而ProbSparse self-attention...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值