《论文阅读》Linformer: Self-Attention with Linear Complexity

最新推荐文章于 2024-09-13 20:14:07 发布
最新推荐文章于 2024-09-13 20:14:07 发布
阅读量3k 收藏 2
点赞数 1
分类专栏： 深度学习 计算机视觉 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/114372528
版权

留个笔记自用

Linformer: Self-Attention with Linear Complexity

做什么

点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。在这里插入图片描述
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样
在这里插入图片描述

做了什么

这里设计了一款transformer变种，证明了自我注意机制也就是self-attention可以用一个低秩矩阵来近似，于是可以将时间复杂度O(n2)缩减至O(n)的线性transformer

怎么做

回忆一下常见的SA计算方法
在这里插入图片描述
这里的三个W均是学习的矩阵，QKV就是常见transformer中的查询向量、键向量、值向量，对比之前论文里出现的
在这里插入图片描述
在这里插入图片描述
这里把括号里的softmax等部分称为P（上下文映射矩阵）∈Rn×n，就是点与点之间的attention矩阵，然而计算这个P非常昂贵，需要O(n2）的时间复杂度
然后画了两张图来进行分析
在这里插入图片描述
上面是两张频谱分析图，Y轴是上下文映射矩阵P的归一化累积奇异值，X 轴是最大特征值的索引，也就是将奇异值分解应用到模型的不同层和不同头部的P中，从上面这张图可以看的出，128之前整体曲线效果已经基本饱和，这意味着矩阵P的大部分信息可以从最初几个最大的奇异值中恢复出来
在这里插入图片描述
然后是一张不同层和头部的第128个最大特征值的归一化累积特征值的热图，观察到在较高层中，更多的信息集中在最大奇异值中，并且秩较低
简单来说，这里就是绘制了两张图，为了证明一点，高维度数据对处理这个任务来说起到的帮助较小，可以尝试将复杂度降低
为了使SA归为线性时间复杂度，这里说是先是要证明P矩阵是低秩的
提出了一个定理
在这里插入图片描述
简单来说就是对于任意的QKV和三个的W矩阵，对任意VW（也就是V）的任意列，都存在一个低秩矩阵P使得
在这里插入图片描述
然后开始具体的证明
重新换一个方式定义一下P
在这里插入图片描述
softmax的数学计算是
在这里插入图片描述
这里就将P的softmax里面假设为矩阵A，形式就可以改写成exp(A)，D是一个n×n的对角矩阵
这里证明文中说是用了一个什么distributional Johnson–Lindenstrauss lemma
于是去查了一下这个的意思：严格说来是这样：在 M 维空间中的 N 个点，几乎总是被包含在一个 D 维子空间里的。这里的 D 按照直觉应当等于 N 的阶，可是实际上我们只需要让 D 是 log(N) 的阶就可以了。这里「几乎被包含在」的确切含义是它在这个子空间上的投影几乎是等距的（允许有一个 ε 的误差，而常数 D/log(N) 就依赖于 ε）。很显然，这件事情在高维数据降维时有极重要的意义。
然后构造一个近似低秩矩阵
在这里插入图片描述
前面的exp(A)·DA就是前面定义的P，这里的R是一个k×n的矩阵，是一个独立同分布的正态分布（0,1/k），然后就可以利用上面的定理证明对于V的任意列w
当在这里插入图片描述
存在
在这里插入图片描述
附录给出了具体的数学证明，太数学了，看看就好
在这里插入图片描述
在这里插入图片描述
总的来说，还是理解一下JL lemma的道理，这个定理的意思就是在一个高维的欧式空间(距离用欧式距离表示)，我们想要把这些点移动到一个低维的空间, 当时要保证空间转换后,每两个点之间的距离几乎不变。就是把一个高维计算能降至低维，大大降低了计算难度
得到了P矩阵的低秩属性后，使用奇异值分解来得到近似
在这里插入图片描述
σi、ui和vi是第i大的奇异值及其对应的奇异向量
所以总的来说，这里就是可以利用Plow这个低秩矩阵来近似我们之前使用的P，来近似我们之前使用的A，来简化attention的计算，而得到低秩矩阵的方法，就是对P使用奇异值分解
然后就是具体模型结构的设计
在这里插入图片描述
在这里插入图片描述
相较于最普通的head计算
在这里插入图片描述
主要是多在了两点，第一，映射矩阵P的区别，这里构造了一个相似矩阵P∈Rn×k（原来的映射矩阵P是n×n的），具体方法则是加了一个E层也就是线性投影层linear projection matrices。第二则是在外部V加了一个F层，同样也是线性投影层（使其从从n×d投影到了k×d）
这两步很明显最大的变化就是从n维到k的转换，从o(n2)到o(n×k)，然后再根据前面的JL lemma定理可以得到，如果k特别小也就是远小于n，近似等同于时间复杂度为o(n)
接下来就是这种方法的理论和证明
在这里插入图片描述
在这里插入图片描述
这里又应用了上面的JL lemma，总的来说就是证明了前面能这么假设的可行性和误差性

总结

1.通篇数学实在太恐怖，总的来说就理解了做法，就是加了两层projection层，然后它就变成线性复杂度了！改天再看看代码然后再回来补一下。
在这里插入图片描述

【NeurIPS 2021】线性复杂度的 Transformer：SOFT: Softmax-free Transformer with Linear Complexity
梁瑛平的博客
10-26 692
【NeurIPS 2021】线性复杂度的 Transformer：SOFT: Softmax-free Transformer with Linear Complexity论文地址：代码地址：论文摘要：具体实现：Softmax-free self-attention formulation：Low-rank regularization via matrix decomposition with linear complexity：对比实验：实验设置：Comparison with existing lin
Linformer 阅读笔记
Hope^_^
06-29 1215
背景，普通的self-attention Q 是 n x d K 是 n x d V 是 n x d QK是 n x n 继而 (QK)V 是n x d 计算量最大的在于QK出n x n这步，固算Attention为O(n^2)复杂度 Linformer用两个 n x k 矩阵，将 K 和 V 映射为 k x d 则 Q 是 n x d K 是 k x d V 是 k x d QK是 n x k 继而 (QK)V 还是n x d k如果足够小的话，证明就是O(n)复杂度算Attention了， 同时，文章从
【Linformer：Self-Attention with Linear Complexity】
gesshoo的博客
03-18 2775
论文中，展示了自注意力机制可以被一个低秩矩阵近似，利用这一发现提出了新的自注意力机制，将空间与时间计算复杂度降低到O(n)。 作者发现自注意力是低秩的，通过线性投影将原本的点乘注意力分解为多个较小的注意力，使这些运算的组合形成原始注意力的低秩因式分解。 下表是不同transformer架构的复杂度汇总： 理论： 自注意力机制矩阵，context mapping matrix P，是低秩的。 左边的图，将奇异值分解在不同的层和头运用到P， 画出每10K个句子的归一化累积奇异值平均值，结果显示
Linformer: Self-Attention with Linear Complexity
ayayayayo的博客
11-14 874
Linformer: Self-Attention with Linear Complexity FAIR NIPS 2020 Abstract ​ Because of the standard self-attention mechanism of transformer uses O(n2)O(n^2)O(n2) time and space with respect to sequence length, this paper demonstrates that self-attention m
文献阅读：Linformer: Self-Attention with Linear Complexity
codename_cys的博客
04-17 5468
文献阅读：Linformer: Self-Attention with Linear Complexity 1. 问题描述 2. 核心方法 1. vanilla attention layer 2. attention优化 3. 分析 & 证明 1. self-attention是低阶的 2. linear self-attention效果与vanilla self-attention相仿 3. 实验 1. 预训练效果考察 2. 下游任务效果 3. 时间优化考察 4. 结论 ..
[Linformer]论文实现：Linformer: Self-Attention with Linear Complexity
bigcrab的博客
12-14 3409
这是一篇介绍的优化模型的论文，其对普通的模型进行了优化，把时间复杂度和空间复杂度都从O(n^2)降低为了O(n)；论文推出的模型叫Linformer，其主要思想利用到了两个思想，JL和SVD
【论文极速看】 Linformer 线性复杂性的自注意力机制
机器学习杂货铺1号店
04-28 2732
∇ 联系方式： e-mail: FesianXu@gmail.com github: https://github.com/FesianXu 知乎专栏: 计算机视觉/计算机图形理论与应用 微信公众号： 在Transformer [1]中作者提出了用自注意力取代CNN，RNN在序列建模中的作用，并且取得了显著的实验效果，对整个NLP，CV领域有着深远影响。然而自注意力机制的时间复杂度是O(n2)\mathcal{O}(n^2)O(n2)的，如式子(1)所示 Attention(QWQ,KWK,VWV
Self-Attention 加速方法一览：ISSA、CCNet、CGNL、Linformer
shenlanshenyanai的博客
02-23 1019
Attention 机制最早在NLP 领域中被提出，基于attention 的transformer结构近年在NLP的各项任务上大放异彩。在视觉任务中，attention也收到了很多的关注，比较有名的方法包括Non-Local Network，能够在时空volume中对全局的关系进行建模，获得了很好的效果。但视觉任务中的self-attention模块通常需要进行大矩阵的矩阵乘法，显存占用大且比较耗时。所以近年有许多优化self-attention模块速度的方法，这篇笔记主要讨论几篇相关方法，有错误之处欢迎
从头理解self-attention机制
qq_42368281的博客
01-18 2872
注意力机制中较为重要的是self-attention机制，直接做了个小白能看懂的总结，也便于自己复习。
Efficient Attention: Attention with Linear Complexities
qq_52302919的博客
04-21 2422
注意机制在计算机视觉和自然语言处理中有着广泛的应用。最近的工作开发了点积注意力机制，并将其应用于各种视觉和语言任务。然而，点积注意力的内存和计算成本随着输入的时空复杂度大小呈二次增长。这样的增长阻碍了该机制在大输入上的应用，例如长序列、高分辨率图像或大视频。为了弥补这一缺陷，本文提出了一种新的有效注意力机制，它相当于点积注意力，但大大减少了内存和计算成本。资源效率允许更广泛和灵活地将有效的注意力模块合并到神经网络中，从而
Informer2020:AAAI 2021接受论文“ Informer”的GitHub存储库
03-10
告密者：用于长序列时间序列预测的超越高效变压器（AAAI'21最佳论文） 这是以下文章中Informer的原始Pytorch实现： 。 特别感谢 Jieqi Peng @ 建立此存储库。 :triangular_flag: 新闻（2021年2月22日）：我们提供了供友好使用。 :triangular_flag: 新闻（2021年2月8日）：我们的线人论文被授予！ 我们将继续进行这方面的研究，并对此仓库进行更新。 如果您发现我们的工作对您有帮助，请加注该回购并引用我们的论文。 图1. Informer的体系结构。 稀疏注意 自我注意分数形成一个长尾分布，其中“活动”查询位于“头”分数中，而“懒惰”查询位于“尾”区域中。 我们设计了ProbSparse Attention以选择“活动”查询而不是“惰性”查询。 带有Top-u查询的ProbSparse Attention通过概率分布形成了一个稀疏的Transformer。 Why not us
informer的论文总结
weixin_42425256的博客
02-06 2950
”不总结，就是白学“…有感而发
Informer论文总结
zhyhnb的博客
05-24 1877
最近的研究表明，Transformer有可能提高预测能力。然而，Transformer有几个严重的问题，使其无法直接适用于LSTF 出发点 （1）Transformer中的自注意力计算是平方复杂度 O(L2) （2）传统Transformer的Block输入输出的shape不变是柱状形式，J个Block带来的复杂度就是 O(Z2)*J，导致模型的输入无法变的过长，限制了时序模型的可扩展性。 （3）传统Transformer的Decoder阶段输出是step-by-step，一方面增加了耗时，另一方
Informer｜时间序列研究之必读核心论文
u010681011的专栏
09-13 957
之前主要是对真实的数字货币数据，进行基本的数据处理、分析、可视化，并基于light GBM进行了收益率的预测。两篇文章分享了源代码和数据集，但是还是比较侧重于实践。所以从这篇开始，我也会同步记录自己阅读时间序列论文的笔记。但根据我的经验，由于相关论文太多，刚刚入坑的同学大多是不知道该从哪篇读起的，这是因为新手（包括我自己）往往对当前的研究的发展脉络是没有整体概念的。这时候，理清整体发展脉络，找到重点论文，并跟踪到最新的研究进展就极其重要。
AAAI最佳论文Informer 解读
热门推荐
fluentn的博客
04-02 5万+
AAAI最佳论文Informer:效果远超Transformer的神器简介预处理 Preliminary 与样本生成Step1:Embedding待更新 2021/04/02 由于Informer主要是在Transformer上的改进，这里不再赘述Transformer的细节，可以参见另外的博文，可以推荐两个。 深入理解Transformer及其源码解读 最火的几个全网络预训练模型梳理整合（从ELMO到BERT到XLNET） 简介 那么Informer是做什么的呢？ 主要针对长序列预测（Long Seque
Informer 论文学习笔记
Learning
07-30 798
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Informer：AAAI2021 最佳论文整理
zsycode的博客
04-14 1488
前言 本文是在Transformer的基础上进行的改进，首先作者提出Transformer在长时间序列预测中的三个局限性： 自注意力的二次计算复杂度O(L2)O(L^2)O(L2)（L表示输入序列的长度） 堆叠J层编码器（解码器）后会是内存使用量达到O(JL2)O(JL^2)O(JL2)，这限制了模型接收长序列输入的可伸缩性 Transformer解码器中step-by-step推断流程，会导致在预测长输出时速度急剧下降 Transformer 既然是在Transformer的基础上，就先了解下Tran
具有线性复杂度的self-attention
最新发布
02-08
### Linear Complexity Self-Attention Implementation and Optimization Self-attention mechanisms have been pivotal in advancing the capabilities of deep learning models, especially within natural language processing tasks. Traditional self-attention has a quadratic time complexity relative to input length due to its computation involving all pairs of positions in an input sequence[^1]. However, linear complexity self-attention aims at reducing this computational burden. #### Efficient Implementations One approach towards achieving linear complexity involves approximating or restructuring how attentions scores are computed between tokens. For instance, instead of computing full pairwise interactions, one could use locality-sensitive hashing (LSH), which groups similar items into buckets without explicitly comparing every item against each other. This method significantly reduces the number of required comparisons while maintaining performance quality[^3]. Another technique utilizes random projections where high-dimensional vectors representing token embeddings get projected onto lower dimensions through structured matrices like Fastfood transforms. Such transformations preserve distances well enough so that subsequent operations remain effective yet require fewer resources than standard methods do[^4]. ```python import torch from performer_pytorch import PerformerLM model = PerformerLM( num_tokens=20000, dim=512, depth=6, heads=8, causal=True, feature_redraw_interval=1000, generalized_attention=True, kernel_fn='relu' ) text = "The quick brown fox jumps over the lazy dog" tokens = tokenizer.encode(text).ids # assuming you've defined `tokenizer` elsewhere input_tensor = torch.tensor([tokens]) output = model(input_tensor) print(output.shape) # should output something like torch.Size([1, seq_len, vocab_size]) ``` This code snippet demonstrates implementing efficient self-attention via the Performer architecture from PyTorch library, leveraging fast Fourier transform-based kernels for reduced complexity computations during training phases. #### Optimizations Techniques Optimizing these implementations often revolves around exploiting hardware acceleration features such as GPU tensor cores optimized specifically for matrix multiplications involved in attention calculations. Additionally, mixed precision arithmetic can further enhance speed by performing some parts of forward/backward passes using half-precision floating-point numbers when possible without sacrificing much accuracy. Memory efficiency gains come not only from algorithmic improvements but also architectural choices like chunked processing schemes dividing long sequences into smaller manageable chunks processed independently before being recombined later on. These strategies help mitigate memory overhead associated with large-scale transformer architectures operating under constrained environments[^2]. --related questions-- 1. How does Locality-Sensitive Hashing contribute to making self-attention computationally feasible? 2. What role do random projections play in optimizing self-attention algorithms? 3. Can you explain how specific hardware optimizations impact the performance of linear-complexity self-attention models? 4. In what ways might chunked processing improve both runtime and resource utilization compared to traditional approaches?
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值