『Transformer系列』第7篇：Transformer的几种高效自注意力(降低计算复杂度的方法)！

已于 2024-08-15 15:44:26 修改
阅读量469 收藏 2
点赞数 1
分类专栏： 大模型笔记 文章标签： transformer Transformer加速 Transformer优化 大模型加速 Transformer低复杂度
于 2024-06-04 15:56:46 首次发布
引用请附上作者博客链接https://zhangkaifang.blog.csdn.net/，谢谢理解！
本文链接：https://blog.csdn.net/abc13526222160/article/details/139433922
版权
本文探讨了如何优化Transformer的注意力机制以提高效率。针对原始注意力机制的高计算复杂度，介绍了Strided Attention、Reformer、Efficient Attention、Linear Attention using Kernels、Linear Attention using Taylor-Expansion、Linformer、Longformer和BigBird等方法，这些方法通过稀疏注意力、局部敏感哈希、低秩近似等策略降低计算复杂度，实现线性复杂度的注意力机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第7篇：Transformer的几种高效自注意力(降低计算复杂度的方法)！

文章目录

在这里插入图片描述

一. 快速回顾一下注意力机制

  • 大家好，今天的视频是我们Transformer和注意力机制系列的重要部分。我们将深入探讨如何优化注意力机制以提高其效率。众所周知，原始注意力机制的内存和计算需求会随着序列长度的增加呈二次增长，使得其在处理较长序列时变得不切实际。为了解决这个问题，研究人员开发了多种方法来简化注意力机制的复杂性。在本视频中，我们将探索一些应对这一挑战的著名模型。
  • 首先，让我们快速回顾一下注意力机制。我们从三个矩阵Q、K和V开始，每个矩阵的大小为
了解本专栏 订阅专栏 解锁全文 超级会员免费看
SwiftFormer：基于Transformer的高效加性注意力用于实时移动视觉应用的模型
m0_47867638的博客
10-14 3233
视觉Transformer模型基于自注意力（请参阅图2（a）），它可以有效地建模输入令牌之间的交互。具体来说，自注意力的输入是x\mathbf{x}x，其中x∈Rn×dx∈Rn×d，包括 n 个具有 d 维嵌入向量的令牌。输入x\mathbf{x}x通过三个矩阵WQWK和WV\mathbf{W}_{\mathbf{Q}}、\mathbf{W}_{\mathbf{K}} 和 \mathbf{W}_{\mathbf{V}}WQ​WK​和WV​。
YOLOv10改进：注意力系列篇 | 可变形的注意力Transformer(DAT) | CVPR 2022 Best Paper
会AI的学姐
06-12 186
Deformable Attention Transformer，增强sparse attention 的表征能⼒；
解码Transformer: 自注意力机制和TA的优化策略
2401_82452722的博客
03-01 1510
注意力机制自从2014年被正式提出后，逐渐成为了NLP中应用最广泛的设计。借助简单而又变幻莫测的Attention机制，一系列横扫SOTA的模型被提出。自注意力机制（Self-Attention），允许序列中的标记相互交互，并计算输入和输出序列的表示，成为了大语言模型主流架构Transformer的关键组成部分。Transformer 结构中，自注意力机制的时间和存储复杂度与序列的长度呈平方的关系，因此占用了大量的计算设备内存和并消耗大量计算资源。因此，如何优化自注意力机制的时空复杂度、 增强计算效率是大语
【学习】自注意力机制的改进方法、non-autoregressive sequence generation、point network
Raphael9900的博客
12-12 4601
李宏毅机器学习 学习自注意力机制的改进方法、non-autoregressive sequence generation、point network
对Transformer的一些改进研究总结
PennyYu123的博客
07-23 1283
而一般情况下gain采用默认值即1，fan_in代表要初始化参数的输入维度（通常是第1维），fan_out代表输出维度（通常是第0维），本例中都是d，因此最终。，我们都知道x在上一层网络输出前的最后一步都要做Layer_Norm，以将上一层网络输出的残差连接结果变换到。1、常有人问：Transformer中Attention的q、k之间项乘后，为什么要再除以。答案往往是：q、k相乘后的结果分布会发生改变，需要用。我们先来思考q、k中值的分布是什么样子，这里拿。分布，即q、k中的每一个值(
降低Transformer复杂度O(N^2)的方法汇总
idol24的博客
12-19 901
作者丨Civ@知乎 编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/634406691Transformer最重要的特性是Global Interaction，也就是说对于任意两个位置的token（不论它们离的有多远），它们之间都能直接进行信息交互。这个特性解决了传统序列建模中长依赖的问题。但Transformer也有一个典型问题：它的计算复杂度和空间复杂度均为 ...
稀疏注意力机制如何影响模型性能？
百态老人的博客
07-18 606
通过调整w的值，可以在计算效率和模型性能之间找到一个平衡24。稀疏注意力机制是一种在深度学习模型中用于处理长序列数据的技术，通过限制每个元素与其他元素之间的注意力计算范围，只关注对模型性能影响较大的元素之间的关系1,3。通过上述分析，我们可以看到稀疏注意力机制在图像识别领域的研究进展不仅提高了模型的计算效率，还增强了模型的性能，为处理大规模图像数据提供了新的解决方案。通过上述分析，我们可以看到稀疏注意力机制在自然语言处理中不仅提高了模型的计算效率，还增强了模型的性能，为处理长序列数据提供了新的解决方案。
学习Transformer：自注意力与多头自注意力的原理及实现
热门推荐
newxuyangcao
05-15 2万+
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便读者在CV领域了解和使用Vision Transformer。......
Transformer新内核Synthesizer：低复杂度的attention代替点乘式的注意力机制
u013602059的专栏
07-17 1285
论文链接：https://arxiv.org/pdf/2005.00743.pdf 参考文档：https://mp.weixin.qq.com/s/e2Cor8amz7GiFfBGdLXULg 导读 今天阅读的是一篇来自Google的最新论文《SYNTHESIZER: Rethinking Self-Attention in Transformer Models》，该论文重新探索了Transformer中注意力机制的必要性，并引入了新的attention计算方法Synthesizer。实验显示，即使不进行.
SwinTransformer改进（2）：自注意力机制的结合
2401_82355416的博客
04-23 25
定义了一个自定义的SelfAttention模块创建了一个基于Swin Transformer的模型架构修改了原始模型的分类头在特征提取后添加了自注意力机制​​查询(Query)​​: 通过1x1卷积将输入通道数减少到1/8​​键(Key)​​: 同样使用1x1卷积减少通道数​​值(Value)​​: 保持原始通道数不变​​gamma参数​​: 一个可学习的缩放参数，初始化为0​​Softmax​​: 用于计算注意力权重。
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
wzk4869的博客
11-30 5090
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
注意力机制综述学习记录
pengxiang1998的博客
09-26 6166
注意力机制与传统算法的简单结合就可以提高系统的性能，因此注意力机制的提出对深度学习许多结构都有着性能提高的作用。它将细胞单元进行更改，新增“遗忘门”“记忆门”和“输出门”就是为了对长序列进行挑选，然后将较长的序列转化为包含有重要信息的短序列，将数据进行传递，有效解决了传统算法预测数据时常遇到的问题，并得到广泛的应用。注意力机制的第一次提出是在视觉图像领域中［21］，它指出注意力的作用就是将之前传统的视觉搜索方法进行优化，可选择地调整视觉对网络的处理，减少了需要处理的样本数据并且增加了样本间的特征匹配。
稀疏自注意力（Sparse Self-Attention）
m0_51200050的博客
06-12 4100
稀疏自注意力以及举例说明
【Transformer改进】解决Transformer复杂度较大问题的变体模型Star Transformer
这个博客太懒了什么都没说
01-12 693
【文献分享】解决Transformer复杂度较大问题的变体模型Star Transformer
Transformer家族3 -- 计算效率优化（Adaptive-Span、Reformer、Lite-Transformer）
谢杨易的博客
06-29 1万+
1 背景 上文我们从编码长度优化的角度，分析了如何对Transformer进行优化。Transformer-XL、LongFormer等模型，通过片段递归和attention稀疏化等方法，将长文本编码能力提升到了很高的高度。基本已经克服了Transformer长文本捕获能力偏弱的问题，使得下游任务模型performance得到了较大提升，特别是文本较长（大于512）的任务上。 但Transformer计算量和内存消耗过大的问题，还亟待解决。事实上，Transformer-XL、LongFormer已经大大降
Transformer和自注意力机制Self-Attention详解和时间复杂度计算+Image Transformer简介
八门金锁的技术博客
01-19 1万+
Transformer 背景 注意力机制已经在编码器解码器模型中广泛应用，极大提升了模型性能。我们为什么不能尝试完全抛开RNN、CNN等传统结构，直接尝试使用注意力机制来捕捉输入和输出之间的依赖呢？ 结构 输入序列是(x1,...,xn)(x_1, ..., x_n)(x1​,...,xn​)，编码器将其映射到向量表示(z1,...,zn)(z_1, ..., z_n)(z1​,...,zn​)，解码器再根据此中间向量产生序列(y1,...,ym)(y_1, ..., y_m)(y1​,...,ym​)。解
GE 烟草行业解决方案.pdf
05-08
GE 烟草行业解决方案.pdf
matlab的figure窗口记录，保存成视频或gif格式图片，代码
05-08
matlab的figure窗口记录，保存成视频或gif格式图片，代码
毕业论文-PHP短网址生成系统-整站商业源码.zip
最新发布
05-08
毕业论文-PHP短网址生成系统-整站商业源码.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI大模型前沿研究

感谢您的打赏，我会继续努力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值