各种Sequence Self-Attention变形 (加速矩阵运算 且保证全局特征)

最新推荐文章于 2023-08-08 17:16:20 发布
最新推荐文章于 2023-08-08 17:16:20 发布
阅读量1.4k 收藏 1
点赞数 2
分类专栏： 深度学习 文章标签： 矩阵 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54338498/article/details/128770069
版权

在这里插入图片描述

人工设计Self-attention的N*N矩阵

Self-attention处理的是一个sequence序列，它也叫xxFormer系列。
在这里插入图片描述

Self-Attention往往只是整个网络的一部分，当输入序列长度非常大时，网络的主要计算量将会取决于Self-Attention的N*N矩阵乘法QxK。所以对其改进常常在CV领域，人为设计矩阵计算, 加快Self Attention的矩阵运算。
在这里插入图片描述

1. Local Attention/Truncated Attention

计算方法：只计算矩阵中蓝色部分值，其余灰色的不用计算(填0)
问题：相当于只关联sequence中相邻的token，失去了Attention的全局性，和CNN的效果就比较相似了，只有局部感受野。
在这里插入图片描述

2. Stride Attention

计算方法：只计算矩阵中青色部分值，其余灰色的不用计算(填0)
问题：相当于关联sequence中间隔stride步长的token，增加了Local Attention的感受野大小，类似于空洞卷积，但依然无法关注到全局的token信息。
在这里插入图片描述

3. Global Attention

计算方法：只计算矩阵中橙色部分值(对应两个sepcial tokens与所有tokens进行交互)，其余灰色的不用计算(填0)
两种类型：①直接选取原sequence中的几个token做sepcial token。②额外补充两个tokne做sepcial token(如CLS token)。
意义：将sepcial token与其余所有tokens进行交互，既在矩阵运算方面减少了计算量，有保证了sepcial token包含全局sequence token信息。
在这里插入图片描述

人工设计Self Attention的使用与选择

不同的Self Attention各有所长，可以使用Mutile-Head Attention，在不同的head使用不同的Self Attention。

1.LongFomer

三个Head：Local Attention+Stride Attention+Global Attention
在这里插入图片描述

2.Big Bird

四个Head：Random Attention+Local Attention+Stride Attention+Global Attention
在这里插入图片描述

自动设计Self Attention的N*N矩阵

引入类似模型加速的思想，小值(不重要的值)对结果的影响较小，把小值设0，加速模型运算。
在这里插入图片描述

1. Reformer

小值：不是同一类的token运算的值。
计算方法：
Step1：先将Q和K放在一起进行聚类，相似的token会被分为同一个类。
Step2：在QxK矩阵运算中，只有同一个类的token才会被计算，其他的位置直接填0。
意义：聚类计算，虽然在聚类的过程中是由机器完成的，但同类计算这个规则是由人为规定的，还不是完全的自动设计(即完全自动learn要计算那些值)
在这里插入图片描述
在这里插入图片描述

2.Sinkborn Sorting Network

设置一个前置Network，学习QxK矩阵中那些值需要计算，这个Network是可以和整个网络一起训练的。
意义：实现了自动设计N*N矩阵的运算。
在这里插入图片描述

不需要N*N大小的矩阵

在这里插入图片描述

1.Linformer和Comperssed Attention

计算方法：从N个key中选出/算出K个代表，同样value也选出K个代表，与query进行计算，只需要计算KxN的矩阵。
为什么不让query也选出K个代表计算？
因为如果query也减少，那么输出的sequence的长度将小于N个，对于某些任务，Self Attention不应改变输入sequence的长度。
在这里插入图片描述
选出/算出，减少key的方法：
Comperssed Attention：用卷积减少key。
Linformer：将N个key进行线性结合(乘NxK的矩阵)
在这里插入图片描述

从Attention本质改进矩阵运算

如果忽略softmax，Attention的本质就是QKV矩阵乘法
在这里插入图片描述
QKV三矩阵运算的先后顺序不同，计算量不同。
计算量：(VK)Q < V(KQ)
在这里插入图片描述
V(KQ)的乘法次数：（d+d’）x N平方 -》 N平方数量级
在这里插入图片描述
(VK)Q的乘法次数：2d’dN -》 N数量级
在这里插入图片描述
原先V(KQ)含softmax的计算过程：
在这里插入图片描述
简化后(VK)Q含softmax的过程：
在这里插入图片描述
在这里插入图片描述

下面不同论文均使用(VK)Q的计算方法，只是映射函数fai不同：
在这里插入图片描述
在这里插入图片描述

颠覆性Attention计算方式

Attention更核心的本质是输入一个sequence，输出对应sequence。
Synthesizer不需要QK，只需V，把之前QK生成的attention矩阵变成network的参数进行训练，再与V相乘。
在这里插入图片描述

处理Sequence不用Attention

在这里插入图片描述

手撕Flash Attention！原理解析及代码实现
强化学习曾小健
05-28 3564
Flash Attention 的动机是尽可能避免大尺寸的注意力权重矩阵在 HBM 和 SRAM 之间的换入换出。tiling和。tiling 的基本思路：不直接对整个输入序列计算注意力，而是将其分为多个较小的块，逐个对这些块进行计算，增量式地进行 softmax 的规约。规约过程中只需要更新某些中间变量，不需要计算整个注意力权重矩阵。
自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）
WANGYANG的博客
05-11 1332
在前面的章节中，详细讨论了循环神经网络（RNN）及其衍生模型，经过对RNN的不断改良，它们现在已经具备了长期记忆的能力，这无疑是语言模型领域的一项重大突破。然而，现在的多模态技术以及GPT的出现，绝大多数都选择了基于Transformer的架构，这是为何呢？本章节将围绕这个问题展开，将深入讲解自注意力机制，揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术，以及多模态技术如CLIP等内容奠定坚实的基础。
Translation with a Sequence to Sequence Network and Attention
人工智能
09-29 1641
http://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html#exercises Translation with a Sequence to Sequence Network and Attention Author: Sean Robertson In this project
ArcGIS Pro脚本工具（2）——生成沿网络的OD成本矩阵（改进）
圈圈的博客
05-10 1204
这篇是上篇和上上篇文章的改进版 ArcGIS Pro脚本工具（2）——生成沿网络的OD成本矩阵 ArcGIS Pro生成沿网络的OD成本矩阵 改进的地方 使用了更高效的添加停靠点的方式，也就是上上篇文章里说的指数型成倍地添加。 起点和目的地图层不再必需一个Name字段，可以选择其他字段作为添加至停靠点时引用的名称，如数据库要素类必有的“OBJECTID”。字段可在脚本工具的运行界面选择。 可重复使用路径分析图层，且不必手动清除停靠点。 Python脚本 import arcpy # 必.
（SETR翻译）Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
qq_51971236的博客
11-24 3069
SETR翻译，Transformer架构重新思考语义分割
attention model
apsvvfb的专栏
03-01 1331
How did I select papers?First, I tried to search for “attention” in CVPR2014-2016, ICCV2009-2015 and ACMMM2012-2015. However, there are only a few papers containing this key words. Then, I searched f
【学习】自注意力机制的改进方法、non-autoregressive sequence generation、point network
Raphael9900的博客
12-12 4602
李宏毅机器学习 学习自注意力机制的改进方法、non-autoregressive sequence generation、point network
Self-attention（李宏毅2022
linyuxi_loretta的博客
10-17 1141
此前，我们network的input都是一个向量，输出可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。将单词表示为向量的方法：One-hot Encoding。我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。另一个方法是Word Embedding：我们给每个词汇一个向量，这个向量里有语义的信息。
NLP学习—21.自注意力机制（Self-Attention）与Transformer详解
柳杰的博客
09-02 1万+
文章目录引言一、Structure of Transformers二、Encoder Structure三、Self-attention and multi-head self-attention1.Self-attention2.multi-head self-attention四、Residuals , Add and Layer-Normalization五、Decoder structure of Transformer六、Mask self-attention七、 Encoder-decoder
attention机制、self-attention、channel attention、spatial attention、multi-head attention、transformer
Leon_winter的博客
10-23 1万+
attention机制觉得是通过连接实现的
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 4823
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
各种 Self-Attention
chairon的博客
04-02 985
self-attention只是网络中的一小部分，但是当输入序列N很大的时候，网络的计算量大多数会来自于self-attention，其计算量和输入序列N2N^2N2成正比。 什么时候输入的N会很大呢？ 当输入是图像的时候。假设每一个像素作为一个输入，256x256的图片输入的N=2562256^22562，self-attention的计算量则是2564256^42564 减少计算量 1. Local Attention/Truncated Attention 2. Stride Attention
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
weixin_43791477的博客
05-21 1万+
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
序列模型，attention机制
weixin_43907580的博客
07-17 496
序列模型，attention机制记录Sequence to Sequence模型编码器解码器Attention模型参考 Sequence to Sequence模型 sequence to sequence 模型最为常见的就是机器翻译，对应的网络结构就是many-to-many RNN网络结构，这种模型基于encoder与decoder两个结构，其中encoder将输入序列编码为一个包含输入序列所有信息的context vectorccc，其中c表示输入序列的语义向量，decoder通过对c的解码获得输入
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 5万+
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
Self-Attention 加速方法一览：ISSA、CCNet、CGNL、Linformer
深度学习与计算机视觉
11-15 1077
作者：林天威链接：https://zhuanlan.zhihu.com/p/270898373本文转载自知乎，作者已授权，未经许可请勿二次转载Attention 机制最早在NLP 领域中...
2022李宏毅机器学习深度学习学习笔记第十五周
qq_45612705的博客
07-31 318
回顾self-attention，对self-attention机制类别进行总结。
几种视觉Attention的代码详解
fzl的博客
05-31 4219
几种视觉Attention的代码详解 文章目录几种视觉Attention的代码详解1 SENet - 通道注意力2 CBAM - 通道 + 空间注意力3 SKEConv4 self-attention4.1 Self_Attn_Spatial 空间注意力4.2 Self_Attn_Channel 通道注意力5 Non-local6 参考链接 最近看了几篇很优秀的视觉Attention介绍的文章，详细见参考链接。这里再拾人牙慧，将代码再清晰整理一遍，并自己编写了Self_Attn_Channel 注意力。
self-attention计算过程
无深度不学习的博客
08-05 5060
概念 self-attention从字面上看，就是自己对自己的注意力。 了解过注意力机制的都知道Q，K，V，在self-attention中，Q，K，V是相同的字嵌入X乘以训练得到的权重得到的。 它也符合注意力机制的计算过程，主要分为以下三部分计算 阶段一 对输入的单词进行词嵌入得到X，X分别与权重计算得到了Q（查询向量）,K（键向量）,V（值向量） 得到Q，K，V之后，再计算得分，假设我们在为这个例子中的第一个词“Thinking”计算自注意力向量，我们需要拿输入句子中的每个单词对“Thinking”打
cross-attention 和self-attention区别
最新发布
07-15
交叉注意力（Cross-Attention）和自我注意力（Self-Attention）都是注意力机制的一种变体，但在应用场景和作用上有所区分： **Self-Attention (自注意力)** - 它是在同一序列内部进行的操作，每个位置都关注到序列中的所有其他位置。 - 在Transformer模型中，自注意力主要是为了捕捉输入序列中的长期依赖关系，每个位置可以获取到全局的信息。 - 自注意力不需要外部输入，只需自身的输入作为查询、键和值。 **Cross-Attention (跨注意力)** - Cross-Attention则涉及到两个不同的序列，一个称为“主体”（query sequence），另一个称为“源”（key-value sequence）。主体序列的每一个位置会关注源序列中的所有信息。 - 例如，在机器翻译中，主体序列是源语言句子的编码，而源序列是目标语言句子的编码。主体需要了解目标语言的上下文才能进行翻译。 - 与自注意力相比，它更侧重于两组输入之间的交互。 简而言之，自注意力关注的是单一序列内的信息，而交叉注意力则是两个独立序列之间的信息交流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yuezero_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值