【Linformer：Self-Attention with Linear Complexity】

最新推荐文章于 2024-06-08 10:05:38 发布
最新推荐文章于 2024-06-08 10:05:38 发布
阅读量2.5k 收藏 4
点赞数 1
分类专栏： Transformer-based 文章标签： 深度学习 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gesshoo/article/details/123566083
版权

论文中，展示了自注意力机制可以被一个低秩矩阵近似，利用这一发现提出了新的自注意力机制，将空间与时间计算复杂度降低到O(n)。

作者发现自注意力是低秩的，通过线性投影将原本的点乘注意力分解为多个较小的注意力，使这些运算的组合形成原始注意力的低秩因式分解。

下表是不同transformer架构的复杂度汇总：

理论：

自注意力机制矩阵，context mapping matrix P，是低秩的。

左边的图，将奇异值分解在不同的层和头运用到P， 画出每10K个句子的归一化累积奇异值平均值，结果显示了清晰的lang-tail谱分析，这意味着P的大部分信息可以从前几个最大奇异值中恢复出来。

右边图，可视化了第128个最大奇异值的归一化累积奇异值的热图&#x

最低0.47元/天 解锁文章
gesshoo
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
5.20 Linformer
炫云云
05-11 263
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 为什么提出 Linformer？ 🥝🥝 相关理论 🍎🍎 Transformer 🍎🍎 混合精度 🍎🍎 知识蒸馏 🍎🍎 稀疏注意力 🍎🍎 局部敏感性哈希 🍎🍎 提升优化器的效率 🥝🥝 Linformer 🍒🍒 score矩阵是低秩 🍒🍒 模型
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
wzk4869的博客
11-30 4045
【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！
推荐开源项目：Linformer for Pytorch - 超高效注意力机制的实现
最新发布
gitblog_00069的博客
06-08 784
推荐开源项目：Linformer for Pytorch - 超高效注意力机制的实现 项目地址:https://gitcode.com/lucidrains/linformer 1、项目介绍 Linformer for Pytorch 是一个基于 Pytorch 的高效注意力机制实现，它源自 Facebook 研究团队提出的一种新型自我注意力层——Linformer。这个库弥补了原版 Linfor...
Linformer: Self-Attention with Linear Complexity
ayayayayo的博客
11-14 758
Linformer: Self-Attention with Linear Complexity FAIR NIPS 2020 Abstract ​ Because of the standard self-attention mechanism of transformer uses O(n2)O(n^2)O(n2) time and space with respect to sequence length, this paper demonstrates that self-attention m
《论文阅读》Linformer: Self-Attention with Linear Complexity
未知丶的博客
03-04 2542
留个笔记自用 Linformer: Self-Attention with Linear Complexity 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 这里设计了一款tran
文献阅读：Linformer: Self-Attention with Linear Complexity
codename_cys的博客
04-17 4472
文献阅读：Linformer: Self-Attention with Linear Complexity 1. 问题描述 2. 核心方法 1. vanilla attention layer 2. attention优化 3. 分析 & 证明 1. self-attention是低阶的 2. linear self-attention效果与vanilla self-attention相仿 3. 实验 1. 预训练效果考察 2. 下游任务效果 3. 时间优化考察 4. 结论 ..
[Linformer]论文实现：Linformer: Self-Attention with Linear Complexity
bigcrab的博客
12-14 1975
这是一篇介绍的优化模型的论文，其对普通的模型进行了优化，把时间复杂度和空间复杂度都从O(n^2)降低为了O(n)；论文推出的模型叫Linformer，其主要思想利用到了两个思想，JL和SVD
graphql-query-complexity：graphql-js的GraphQL查询复杂度分析和验证
02-04
安装通过npm安装软件包npm install -S graphql-query-complexity用法创建具有最大查询复杂度的规则： import queryComplexity , { simpleEstimator} from 'graphql-query-complexity' ;const rule = queryComplexity...
新兴工程：回顾-研究论文
06-09
电网和天然气网络等能源基础设施是社会技术系统，是呈现出新兴的复杂适应性系统。 它们的结构、功能和性能是参与者决策、技术操作、互连和经济交易的结果。 解决社会和经济问题的政策制定、监管和战略管理可以被视为...
eslintcc：ESLint-代码JavaScript复杂度
02-04
ESLint代码的复杂性 是ECMAScript / JavaScript工具，可通过使用计算代码的复杂性 ESLint计算代码的复杂性，而此工具仅根据其收集报告 安装及使用 ... const { Complexity } = require ( 'eslintcc
Self-organizing Coalitions for Managing Complexity
09-19
Self-organizing Coalitions for Managing Complexity-Agent-based-Simulation-of-Evolutionary-Game-Theory-Models-using-Dynamic-Social-Networks-for-Interdisciplinary-Applications
linformer-pytorch:我对Pytorch的Linformer的实际实现的看法
03-20
Linformer Pytorch实施 实际实现。注意只有n的线性复杂度，可以在现代硬件上处理非常长的序列长度（1mil +）。 此回购协议是一个样式转换器，带有编码器和解码器模块。这里的新颖之处在于，现在，人们可以使注意力转向线性。在下面查看如何使用它。 这正在wikitext-2上进行验证。目前，它的性能与其他稀疏注意力机制（例如水平相同，但仍必须找到最佳的超参数。 头部的可视化也是可能的。要查看更多信息，请查看下面的“可视化”部分。 我不是本文的作者。 123万代币 安装 pip install linformer-pytorch 或者， git clone https://github.com/tatp22/linformer-pytorch.git cd linformer-pytorch 代码示例 Linformer语言模型 from linformer_pytorch
fasterseq:基于fairseq的更快，更高效的序列建模深度学习算法的实现，例如Lite-Transormer，Reformer，Linformer，注意力机制的有效变体等
03-09
关于FasterSeq 随着物联网和其他移动设备的快速发展，更快，更高效的深度学习技术的部署需要更多的努力。 我创建了这个资料库，以探索和开发最新的加速计算和有效的深度学习技术，以进行更快的序列建模。 我们选择的基础库是 ，它是由Facebook人工智能研究实验室开发和维护的用于序列建模的开源库。 要求和安装 版本> = 1.4.0 Python版本> = 3.6 要训​​练新型号，您还需要NVIDIA GPU和 要安装fairseq并在本地进行开发： git clone https://github.com/pytorch/fairseq cd fairseq pip install --editable ./ # on MacOS: # CFLAGS="-stdlib=libc++" pip install --editable ./ 为了更快地进行培训，请安装NVIDIA的
论文研究-Joint Error Linear Complexity of pn-Periodic Multisequences Over Fp.pdf
08-14
Fp上pn周期多重周期序列的联合错误线性复杂度，苏明，，最近基于向量的流密码引起了研究者的兴趣。根据多重序列联合线性复杂度的定义,为了研究多重序列的稳定性,我们推广到多重周期序列�
【论文极速看】 Linformer 线性复杂性的自注意力机制
机器学习杂货铺1号店
04-28 1761
∇ 联系方式： e-mail: FesianXu@gmail.com github: https://github.com/FesianXu 知乎专栏: 计算机视觉/计算机图形理论与应用 微信公众号： 在Transformer [1]中作者提出了用自注意力取代CNN，RNN在序列建模中的作用，并且取得了显著的实验效果，对整个NLP，CV领域有着深远影响。然而自注意力机制的时间复杂度是O(n2)\mathcal{O}(n^2)O(n2)的，如式子(1)所示 Attention(QWQ,KWK,VWV
自注意力（Self-Attention）
qq_38304138的博客
04-01 1323
自注意力 给定序列 自注意力池化层将当做key，value，query来对序列抽取特征得到 是自注意力池化函数 位置编码 没有记录位置信息 位置编码将位置信息注入到输入里 假设长度为n的序列是，那么使用位置编码矩阵来输出作为自编码输入 P的元素如下计算： 位置嵌入矩阵的第6列和第7列的频率高于第8列和第9列。 第6列和第7列之间的偏移量（第8列和第9列相同）是由于正弦函数和余弦函数的交替。 #@save class PositionalEncoding...
Linformer 阅读笔记
Talk Is Cheap
06-29 1114
背景，普通的self-attention Q 是 n x d K 是 n x d V 是 n x d QK是 n x n 继而 (QK)V 是n x d 计算量最大的在于QK出n x n这步，固算Attention为O(n^2)复杂度 Linformer用两个 n x k 矩阵，将 K 和 V 映射为 k x d 则 Q 是 n x d K 是 k x d V 是 k x d QK是 n x k 继而 (QK)V 还是n x d k如果足够小的话，证明就是O(n)复杂度算Attention了， 同时，文章从
Linformer：具有线性复杂性的自我关注
weixin_45193103的博客
04-10 1248
摘要 大型transformer模型在许多自然语言处理应用中取得了非凡的成功。然而，对于长序列，训练和部署这些模型的成本可能会高得令人望而却步，因为变压器的标准自我注意机制在序列长度方面使用O（n2）时间和空间。在本文中，我们证明了自我注意机制可以用低秩矩阵来近似。我们进一步利用这一发现提出了一种新的自我注意机制，该机制在时间和空间上将整体自我注意复杂性从O（n2）降低到O（n）。由此产生的线性transformer，Linformer，与标准变压器模型执行相比而言，有着更大的内存和具有时效性的。 1导
Transformer变体（Routing Transformer，Linformer，Big Bird）
nakaizura
02-01 5378
本篇博文继续前两篇文章进行整理，前两篇文章传送门： Transformer变体（Sparse Transformer，Longformer，Switch Transformer） Transformer变体（Star-Transformer，Transformer-XL） Efficient Content-Based Sparse Attention with RoutingTransformers 和前两篇博文的目标一样，如何使标准Transformer的时间复杂度降低。Routing Trans
e. However, self-attention has quadratic complexity and ignores potential correlation between different samples
04-01
Additionally, self-attention is computationally expensive and can require significant resources to train and deploy, which can be a challenge for some applications. Therefore, while self-attention is...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值