Linformer: Self-Attention with Linear Complexity

最新推荐文章于 2025-11-23 20:02:07 发布
原创 最新推荐文章于 2025-11-23 20:02:07 发布 · 948 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #深度学习

Linformer: Self-Attention with Linear Complexity

FAIR NIPS 2020

Abstract

​ Because of the standard self-attention mechanism of transformer uses O(n2)O(n^2)O(n2) time and space with respect to sequence length, this paper demonstrates that self-attention mechanism can be approximated by a low-rank matrix and further proposes a new self-attention mechanism by introducing 2 projection matrices, which reduces the overall complexity to O(n)O(n)

最低0.47元/天 解锁文章
5.20 Linformer
炫云云
05-11 425
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 为什么提出 Linformer？ 🥝🥝 相关理论 🍎🍎 Transformer 🍎🍎 混合精度 🍎🍎 知识蒸馏 🍎🍎 稀疏注意力 🍎🍎 局部敏感性哈希 🍎🍎 提升优化器的效率 🥝🥝 Linformer 🍒🍒 score矩阵是低秩 🍒🍒 模型
Linformer 阅读笔记
Love-Coding
06-29 1329
背景，普通的self-attention Q 是 n x d K 是 n x d V 是 n x d QK是 n x n 继而 (QK)V 是n x d 计算量最大的在于QK出n x n这步，固算Attention为O(n^2)复杂度 Linformer用两个 n x k 矩阵，将 K 和 V 映射为 k x d 则 Q 是 n x d K 是 k x d V 是 k x d QK是 n x k 继而 (QK)V 还是n x d k如果足够小的话，证明就是O(n)复杂度算Attention了， 同时，文章从
《论文阅读》Linformer: Self-Attention with Linear Complexity
未知丶的博客
03-04 3223
留个笔记自用 Linformer: Self-Attention with Linear Complexity 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 这里设计了一款tran
【Linformer：Self-Attention with Linear Complexity】
gesshoo的博客
03-18 2917
论文中，展示了自注意力机制可以被一个低秩矩阵近似，利用这一发现提出了新的自注意力机制，将空间与时间计算复杂度降低到O(n)。 作者发现自注意力是低秩的，通过线性投影将原本的点乘注意力分解为多个较小的注意力，使这些运算的组合形成原始注意力的低秩因式分解。 下表是不同transformer架构的复杂度汇总： 理论： 自注意力机制矩阵，context mapping matrix P，是低秩的。 左边的图，将奇异值分解在不同的层和头运用到P， 画出每10K个句子的归一化累积奇异值平均值，结果显示
[Linformer]论文实现：Linformer: Self-Attention with Linear Complexity
bigcrab的博客
12-14 4131
这是一篇介绍的优化模型的论文，其对普通的模型进行了优化，把时间复杂度和空间复杂度都从O(n^2)降低为了O(n)；论文推出的模型叫Linformer，其主要思想利用到了两个思想，JL和SVD
文献阅读：Linformer: Self-Attention with Linear Complexity
codename_cys的博客
04-17 6040
文献阅读：Linformer: Self-Attention with Linear Complexity 1. 问题描述 2. 核心方法 1. vanilla attention layer 2. attention优化 3. 分析 & 证明 1. self-attention是低阶的 2. linear self-attention效果与vanilla self-attention相仿 3. 实验 1. 预训练效果考察 2. 下游任务效果 3. 时间优化考察 4. 结论 ..
【论文极速看】 Linformer 线性复杂性的自注意力机制
机器学习杂货铺1号店
04-28 3025
∇ 联系方式： e-mail: FesianXu@gmail.com github: https://github.com/FesianXu 知乎专栏: 计算机视觉/计算机图形理论与应用 微信公众号： 在Transformer [1]中作者提出了用自注意力取代CNN，RNN在序列建模中的作用，并且取得了显著的实验效果，对整个NLP，CV领域有着深远影响。然而自注意力机制的时间复杂度是O(n2)\mathcal{O}(n^2)O(n2)的，如式子(1)所示 Attention(QWQ,KWK,VWV
Linformer：具有线性复杂性的自我关注
weixin_45193103的博客
04-10 1713
摘要 大型transformer模型在许多自然语言处理应用中取得了非凡的成功。然而，对于长序列，训练和部署这些模型的成本可能会高得令人望而却步，因为变压器的标准自我注意机制在序列长度方面使用O（n2）时间和空间。在本文中，我们证明了自我注意机制可以用低秩矩阵来近似。我们进一步利用这一发现提出了一种新的自我注意机制，该机制在时间和空间上将整体自我注意复杂性从O（n2）降低到O（n）。由此产生的线性transformer，Linformer，与标准变压器模型执行相比而言，有着更大的内存和具有时效性的。 1导
【亲测免费】 Linformer: 自注意力线性复杂度实现指南
gitblog_01024的博客
08-31 1312
Linformer: 自注意力线性复杂度实现指南 1. 项目介绍 Linformer 是一个基于 PyTorch 实现的高效Transformer模型变体，由 Lucidrains 开发并维护。该库解决了一个核心挑战：在保持自注意力机制性能的同时，大幅降低其时间和空间复杂度。通过将传统的平方级 ($O(n^2)$) 自注意力计算转换为线性级 ($O(n)$)，Linformer 成功地减少了对大量...
Linformer PyTorch 实践指南
gitblog_01110的博客
08-31 895
Linformer PyTorch 实践指南 一、项目目录结构及介绍 Linformer是一个旨在减少Transformer模型中自注意力复杂度的PyTorch实现，它将传统的$O(n^2)$时间与空间复杂度降低到线性的$O(n)$。以下是该仓库的基本目录结构及其简介： . ├── github/workflows # GitHub Actions相关配置 ├── linformer...
linformer-pytorch:我对Pytorch的Linformer的实际实现的看法
03-20
Linformer Pytorch实施 实际实现。注意只有n的线性复杂度，可以在现代硬件上处理非常长的序列长度（1mil +）。 此回购协议是一个样式转换器，带有编码器和解码器模块。这里的新颖之处在于，现在，人们可以使注意力转向线性。在下面查看如何使用它。 这正在wikitext-2上进行验证。目前，它的性能与其他稀疏注意力机制（例如水平相同，但仍必须找到最佳的超参数。 头部的可视化也是可能的。要查看更多信息，请查看下面的“可视化”部分。 我不是本文的作者。 123万代币 安装 pip install linformer-pytorch 或者， git clone https://github.com/tatp22/linformer-pytorch.git cd linformer-pytorch 代码示例 Linformer语言模型 from linformer_pytorch
低秩自注意力
wuyuanli_r的博客
01-04 2083
自注意力一般是低秩的, 证明参考 Linformer: Self-Attention with Linear Complexity 定理 1. 这也比较容易猜测出来. 因为文本词汇大多数依赖于自己距离很近的词汇, 较少依赖距离较远的词汇. 这意味着可以使用 两个矩阵逼近 WQW^QWQ 或者 WKW^KWK. 其中一个矩阵是带状矩阵, 另一个是稀疏低秩矩阵. 明显带装矩阵只有下图蓝色部分需要确定, 其余为0. 低秩矩阵可以看成是小矩阵的乘积. 假定正常 注意力机制 权重矩阵为 A:=HWQ(WK)THT,
Self-Attention 加速方法一览：ISSA、CCNet、CGNL、Linformer
深度学习与计算机视觉
11-15 1128
作者：林天威链接：https://zhuanlan.zhihu.com/p/270898373本文转载自知乎，作者已授权，未经许可请勿二次转载Attention 机制最早在NLP 领域中...
"Linformer" 拍了拍 "被吊打 Transformers 的后浪们"
zenRRan的博客
06-22 1257
原创 · 作者 | 龚俊民学校 | 新南威尔士大学硕士生公司 | Vivo AI Lab研究方向 | 自然语言处理和可解释学习来自 |AINLP论文标题：《Linformer: Sel...
那些轻轻拍了拍Attention的后浪们
喜欢打酱油的老鸟
07-28 1596
参考paperswithcode，貌似已经加入Facebook。 Papers with Code - An Overview of Attention​paperswithcode.com Linearized Attention（核函数）（Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention） Transformer中的Attention机制Scaled-Dot Attention，形
01.【AI大模型对话】通过简化大语言模型（LLM）技术来实现对话
mobangde的博客
11-20 911
帮帮志系列文章：有连续多个针对性主题，最终：实现AI大模型技术来实现对话.
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
最新发布
nmdbbzcl的博客
11-23 778
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
传统NLP算法
记录成长‌，知识沉淀，连接同行‌
11-19 679
传统NLP算法与当前大模型的对比分析 传统NLP算法主要基于规则和统计模型（如HMM、CRF、SVM），依赖人工特征工程和领域知识，适合特定任务但泛化能力有限。其优势在于可解释性强、计算资源需求低。典型应用包括分词、命名实体识别和文本分类等。 现代大模型（如Transformer架构LLM）采用预训练-微调范式，通过海量数据自动学习语言表示，具备强大的生成能力和跨任务迁移性。它们能处理复杂任务如对话生成和多语言翻译，但需巨额计算资源。 二者存在技术演进关系：大模型继承了传统NLP的核心思想，但通过深度学习实
NLP基础(十)_词向量
weixin_48870215的博客
11-23 611
NLP基础(十)_词向量
具有线性复杂度的self-attention
02-08
### Linear Complexity Self-Attention Implementation and Optimization Self-attention mechanisms have been pivotal in advancing the capabilities of deep learning models, especially within natural ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值