attention的是是非非

最新推荐文章于 2024-09-07 12:57:28 发布
最新推荐文章于 2024-09-07 12:57:28 发布
阅读量226 收藏
点赞数
文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34363639/article/details/109583247
版权
本文探讨了神经网络中注意力机制的基本形式，并介绍了几种优化方法，包括ISSA的交错稀疏自注意力，CCNet的交叉注意力用于语义分割，以及Linformer的线性复杂度自注意力。这些方法旨在减少计算量和显存占用，同时保持或增强模型的性能。
摘要由CSDN通过智能技术生成

基本形式：

在这里插入图片描述

图解：

在这里插入图片描述
其中Q为query,K为key,V为value。attention就是看看Q和K的相关性，Q代表的是原图中的原始信息的语义映射，一般不改变其维度，K代表想将原图中的信息映射到多少维的空间中，（保持、增大还是减少）。
在self-attention中，计算量和显存占用比较大的主要是生成attention map时的 步骤。因此可以从这个方向减少计算量。

更改示例

ISSA: Interlaced Sparse Self-Attention

先shuffle维度，使得local attention能够看到更远的信息，再tanspose回来，这样也看到了近处的局部信息：
在这里插入图片描述

最低0.47元/天 解锁文章
qq_34363639
关注
【Transformer】cross attention 交叉注意力机制
m0_51579041的博客
05-03 3933
【Transformer】cross attention 交叉注意力机制
大模型加速库flash-attention的安装教程
weixin_43178406的博客
01-06 2万+
本文主要介绍了大模型加速库flash-attention的安装教程，希望能对使用flash-attention的同学们有所帮助。 文章目录 1. 背景描述 2. 逐步安装教程
Attention机制的具体计算过程
qq_42262610的博客
01-09 2607
一个输入，经过embedding+位置编码后得到最终的输入X（512维），最终的输入X与矩阵参数WQ（512*64维）相乘，得到Query；与矩阵参数WK（512*64维）相乘，得到Key；与矩阵参数WV（512*64维）相乘，得到Value。Query-某个词（婴儿）转化后的输入向量-64维Key-整个句子中，每个词转化的某个向量（Key1，Key2，Key3，Key4）-64维Value-整个句子中，每个词转化的某个向量（Value1，Value2，Value3，Value4）-64维。
Self-Attention 加速方法一览：ISSA、CCNet、CGNL、Linformer
深度学习与计算机视觉
11-15 999
作者：林天威链接：https://zhuanlan.zhihu.com/p/270898373本文转载自知乎，作者已授权，未经许可请勿二次转载Attention 机制最早在NLP 领域中...
【面试】Cross Attention 和 Self Attention 主要的区别是什么？
最新发布
Lewiz_124的博客
09-07 1071
是 Transformer 架构中的核心机制，主要用于捕捉。
深度学习：cross-attention介绍以及与self-attention的区别
进阶的小宋
09-18 2608
Cross-attention将两个相同维度的嵌入序列不对称地组合在一起，而其中一个序列用作查询Q输入，而另一个序列用作键K和值V输入。当然也存在个别情况，在SelfDoc的cross-attention，使用一个序列的查询和值，另一个序列的键。总而言之，QKV是由两序列拼凑的，不单一。Cross-attention的输入来自不同的序列，Self-attention的输入来自同序列，也就是所谓的输入不同，但是除此之外，基本一致。self-attention输入则是一个单一的嵌入序列。
Python-CompactGeneralizedNonlocalNetwork论文的一个PyTorch重新实现
08-11
Compact Generalized Non-local Network (NIPS 2018)的一个PyTorch重新实现
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，...
TCN-with-attention-master_attention_tcn_attention预测_attention-LS
09-11
标题中的"TCN-with-attention-master_attention_tcn_attention预测_attention-LS"暗示了这是一个关于时间卷积网络（Temporal Convolutional Network, TCN）与注意力机制（Attention Mechanism）结合的项目，主要用于...
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 4万+
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
cgnl-network.pytorch:紧凑型通用非本地网络（NIPS 2018）
05-22
紧凑型广义非本地网络 ，，，，丁二瑞，徐福新 介绍 这是针对的重新实现。 它带来了基于FAIR的在 ， 和上训练的CGNL模型。 更新 05/2019：在Caffe中支持CGNL和NL模块-请参阅 引文 如果您认为此代码对您的研究很有用，或者希望参考本文中发布的基准结果，请使用以下BibTeX条目。 @article{CGNLNetwork2018, author={Kaiyu Yue and Ming Sun and Yuchen Yuan and Feng Zhou and Errui Ding and Fuxin Xu}, title={Compact Generalized Non-local Network}, journal={NIPS}, year={2018} } 要求 每晚发布的PyTorch> = 0.4.1或1.0 Python
self-attention和cross-attention
liguandong
04-20 4956
一言以蔽之，就是cross-attention是在sequence之间不同位置的输入做attention，self-attention是在sequence内部做attention。self和cross attention的区别仅在q和kv的来源上，self-attention Q（uery）K（ey）V（alue）均来源与一个sequence，而cross-attention中Q来源于另一个sequence，而且多为跨模态的sequence。cross-attention混入了两种不同的序列。
探索高效视觉识别：Compact Generalized Non-local Network
gitblog_01176的博客
08-28 407
探索高效视觉识别：Compact Generalized Non-local Network cgnl-network.pytorchCompact Generalized Non-local Network (NIPS 2018)项目地址:https://gitcode.com/gh_mirrors/cg/cgnl-network.pytorch 在深度学习和计算机视觉领域，模型的效率和准确性...
探索深度学习的未来：紧凑型通用非局部网络（CGNL）
gitblog_00035的博客
05-25 460
探索深度学习的未来：紧凑型通用非局部网络（CGNL） 项目地址:https://gitcode.com/gh_mirrors/cg/cgnl-network.pytorch 在这个飞速发展的时代，深度学习已经成为了计算机视觉和人工智能领域的重要工具。随着模型的复杂度增加，我们对更高效、更具表现力的网络结构的需求也日益增长。正是在这种背景下，Kaiyu Yue等提出了一个创新的解决方案——紧凑型通用...
GAT, Self Attention, Cross Attention对比以及在自动驾驶轨迹预测任务中的pytorch应用
Cameron_Rin的博客
03-30 1万+
1.Self Attention顾名思义，指不是Target和Source之间做Attend，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。此时Query、Key和Value都来自Target或Source。 2.GAT和Self Attention本质都在做同样的事情，Self Attention利用 attention 机制将输入中的每个单词用其上下文所有单词的加权来表示，而 GAT 是利用
encoder decoder模型_【经典精读】Transformer模型深度解读
weixin_39630855的博客
11-02 1546
文字长度: ★★★★★阅读难度: ★★☆☆☆原创程度: ★★★★☆Transformer是2017年的一篇论文《Attention is All You Need》提出的一种模型架构，这篇论文里只针对机器翻译这一种场景做了实验，全面击败了当时的SOTA，并且由于encoder端是并行计算的，训练的时间被大大缩短了。它开创性的思想，颠覆了以往序列建模和RNN划等号的思路，现在被广泛应用于NLP的各个...
陈丹琦博士论文里对attention机制的讲解
Talk Is Cheap
12-18 2643
英文文本蕴含的Attention机制实现
资源摘要信息:"本资源主要关注于英文文本蕴含任务的实现，以及在此过程中应用的attention机制。英文文本蕴含（Textual Entailment）是一个识别一对句子之间关系的任务，其中给定的前提（premise）和假设（hypothesis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值