稀疏Attention

最新推荐文章于 2025-03-10 00:15:00 发布
最新推荐文章于 2025-03-10 00:15:00 发布
阅读量6.8k 收藏 23
点赞数 9
分类专栏： 算法
本文为博主CSDN Rosefun96原创文章，转载请注明。
本文链接：https://blog.csdn.net/rosefun96/article/details/102801244
版权

1. 模型

Self Attention是 O ( n 2 ) O(n^2) O(n2

最低0.47元/天 解锁文章
稀疏注意力和flash Attention的区别是什么
强化学习曾小健
10-11 211
稀疏注意力是一种优化的注意力机制，旨在减少计算量和内存消耗。它通过只计算查询向量与部分键向量之间的相似度，而不是所有键向量，从而提高处理效率。稀疏注意力可以通过多种方式实现，例如固定模式、可学习模式或基于启发式规则。
原生稀疏注意力：硬件对齐且可原生训练的稀疏Attention
m0_47867638的博客
02-26 97
https://arxiv.org/pdf/2502.11089v1长上下文建模是下一代语言模型的关键技术，但标准注意力机制的高计算成本带来了重大挑战。稀疏注意力为提高效率同时保持模型能力提供了有前景的解决方案。我们提出了NSA（原生可训练稀疏注意力机制），通过将算法创新与硬件对齐优化相结合，实现高效的长上下文建模。NSA采用动态分层稀疏策略，将粗粒度令牌压缩与细粒度令牌选择相结合，既保留全局上下文感知能力，又维持局部精度。我们的方法通过两项关键创新推动了稀疏注意力设计：(1) 通过算术强度平衡的算法设计和
稀疏自注意力（Sparse Self-Attention）
m0_51200050的博客
06-12 4075
稀疏自注意力以及举例说明
稀疏注意力机制是什么?
gs80140的专栏
02-21 613
稀疏注意力机制是一种优化传统注意力计算的技术，通过选择性关注输入序列中的关键部分来降低计算复杂度和内存消耗，尤其适用于处理长序列数据（如文本、图像、音频）。其核心原理是通过引入稀疏连接规则，限制每个查询（query）仅与部分键（key）交互，而非全局计算，从而将复杂度从O(n²)降低到接近线性。
稀疏注意力机制与传统注意力机制的区别是什么？
百态老人的博客
07-18 1006
稀疏注意力机制通过限制每个词的注意力计算范围，显著降低了计算复杂度，同时保持或提高模型的性能。● 稀疏注意力机制的原理与应用：稀疏注意力机制通过引入稀疏的方式来选择与每个query相关的key，显著降低计算复杂度。稀疏注意力机制在机器翻译中的具体应用案例主要体现在提高翻译质量和效率上，通过只关注输入序列中的关键部分，减少了计算复杂度，同时保持或提高模型的性能。稀疏注意力机制的研究和发展不仅提高了模型的计算效率，还增强了模型的性能，为处理长序列数据提供了新的解决方案。
深度学习中的稀疏注意力
热门推荐
不要给自己设限，尝试更多可能（思所向 皆可往）
01-07 1万+
稀疏注意力的实现并不仅限于DeepSpeed。虽然DeepSpeed提供了一种高效的稀疏注意力实现，但其他深度学习框架和库也可能提供稀疏注意力的支持。例如，Hugging Face的Transformers库就包含了一些稀疏注意力的实现，如Longformer和BigBird。
大模型训练之加速篇 -attention优化【稀疏-＞线性化-＞分块计算MQA/GQA-＞计算(flash atten/dec)-＞缓存MLA】
weixin_36378508的博客
09-21 9821
加速
什么是稀疏注意力
weixin_46516242的博客
03-22 1961
什么是稀疏注意力
做点记录：Attention稀疏化与线性化
Fawkes Lee 要做大神！
12-24 820
本文来自苏剑林老师的。Attention 来源于 18 年初的 Attention is All You Need（乘性 Attention）, 其核心在于 QKV 三个向量序列的交互融合，其中，QK 的交互给出了两两向量之间的某种权重，最后由 V 按照权重求和得到输出序列。
稀疏性在机器学习中的发展趋势：MoE、稀疏注意力机制
zenRRan的博客
03-15 5518
每天给你送来NLP技术干货！作者：唐工来源：https://zhuanlan.zhihu.com/p/463352552编辑：李rumorSparsity, ..., is another...
为节约而生：从标准Attention到稀疏Attention
Paper weekly
07-31 3268
作者丨苏剑林单位丨追一科技研究方向丨NLP，神经网络个人主页丨kexue.fm如今 NLP 领域，Attention 大行其道，当然也不止 NLP，在 CV 领域 Att...
分位稀疏Transformer（Quantile Sparse Transformer，QSTransformer）稀疏attention实例
bayesian1的博客
07-10 807
分位稀疏Transformer（Quantile Sparse Transformer，QSTransformer）稀疏attention实例
Transformer优化之稀疏注意力
雨石
10-01 7980
最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。 以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。 Transformer:Attention集大成者 GPT-1 & 2: 预训练+微调带来的奇迹 Bert: 双向预训练+微调 Bert与模型压缩 Bert与模型蒸馏：PKD和DistillBert ALBert: 轻量级Bert TinyBert: 模型蒸馏的全方位应用 MobileBert:
稀疏注意力：让长文本建模更高效
gs80140的专栏
03-10 1305
稀疏注意力（Sparse Attention）通过限制注意力范围，减少计算开销，同时保持模型性能，为处理长序列提供了高效的解决方案。通过动态分层稀疏策略、连接模式设计、Hilbert 曲线置换和 8-bit 量化等技术，稀疏注意力显著降低了计算复杂度和内存占用，同时保留了关键信息，确保模型性能不下降。
Deepseek Natively Sparse Attention
asd8705的专栏
02-20 756
提出一种高效、可训练的稀疏注意力机制，以提高长文本处理的计算效率，同时保持模型性能。：可根据任务需求设定不同的窗口大小（例如代码生成任务可能需要更大的窗口）。NSA 通过以下三种不同的注意力计算路径，让 Transformer。是可学习的门控参数（Gating Mechanism）。- 这样，原始 Key-Value 变成了。- 这样可以降低计算量，同时保留重要信息。，为长文本建模提供了新的解决方案。的方式，将 Key-Value。，提高计算效率，同时保留重要信息。，大幅减少了 Key 的数量。
稀疏注意力：打破Transformer计算瓶颈，实现高效长序列建模
gs80140的专栏
03-08 474
近年来，Transformer凭借其强大的自注意力机制（Self-Attention），在自然语言处理、图像识别等领域大放异彩。自注意力机制的核心是计算一个“注意力矩阵”，矩阵中每个元素表示输入序列中两个位置的相关性。以局部窗口注意力为例，原自注意力需计算n²次交互，而稀疏注意力仅需n×k次（k≪n）。：每个位置的查询（Query）需与所有位置的键（Key）交互，复杂度为O(n²)。：通过分层聚合（如先处理小块，再合并块间信息），逐层减少计算粒度。：O(n×k)，当k为常数时，复杂度降至线性O(n)。
稀疏注意力、交叉注意力
sevensummer7的博客
11-28 1133
像一般的注意力，往往都是全局的，比如我们把一张100X100的图，分成了10X10的patchers，每个patchers当成一个输入，那么一般的注意力就是把这个输入和其他99个输入比较（有些时候是像素级别的比较，就是1个像素和9999个像素比较）这种情况就非常消耗资源。我们就可以通过，卷积网络中的注意力机制，或者对图像的分层。这种情况下，我们就可以大大减少资源的浪费，同时还能保持准确度。比如在nlp中，我要确定两句话的关联，我就可以将一句话作为输入，qk，另一句话作为额外的输入，v，来比较两句话的关系。
《论文阅读》Sparse Sinkhorn Attention
未知丶的博客
03-03 2623
留个笔记自用 PCT: Point Cloud Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 设计了一种sparse attention的计算方法，引入了一
tensorflow attention 性能
最新发布
03-22
### TensorFlow中的Attention机制性能优化 在TensorFlow框架下，attention机制的实现通常依赖于矩阵运算和张量操作。为了提升其性能表现，可以从以下几个方面入手： #### 1. 使用更高效的矩阵乘法库 TensorFlow底层支持多种高性能线性代数库（如cuBLAS），这些库能够显著加速大规模矩阵乘法计算。对于attention机制而言，Q、K、V之间的点积计算占用了大量时间[^1]。因此，在硬件允许的情况下启用GPU加速并确保cuBLAS版本是最新的可以有效减少计算开销。 #### 2. 利用稀疏化技术 如果输入数据具有一定的结构特性，则可以通过稀疏表示来降低内存占用和计算复杂度。例如，某些场景下的自回归模型可能只需要关注局部上下文而非全局范围内的所有位置；此时可考虑采用Sparse Attention方法替代传统的Full Attention方式。 #### 3. 多头注意力机制（Multi-Head Attention） 正如DeepSeek-V3所使用的Multi-head Latent Attention (MLA)，多头注意力允许多个子空间同时学习不同类型的特征关联模式。这不仅增强了表达能力，而且由于各头部独立工作还可以利用并行处理的优势从而加快整体速度。 #### 4. Mixture of Experts (MoE) 类似于DeepSeekMoE的设计思路，在构建Transformer层时引入Mixture-of-Experts模块可以帮助缓解参数规模增长带来的资源压力。具体来说就是让每个样本仅由部分专家网络负责处理而不是整个大模型参与其中，这样既减少了不必要的冗余计算又维持住了较高的准确性水平。 #### 5. 训练目标调整 – Multi-Token Prediction (MTP) 最后一点值得注意的是改变原有的单一token预测为目标函数形式可能会带来意想不到的效果改进。就像文中提到那样，“通过引入辅助损失免费负载均衡策略和multi-token prediction训练目标”，使得最终得到的结果更加鲁棒稳定同时也提高了收敛速率。 以下是基于上述原理的一个简单代码片段展示如何定义一个多头注意单元： ```python import tensorflow as tf class MultiHeadAttention(tf.keras.layers.Layer): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() assert d_model % num_heads == 0 self.num_heads = num_heads self.depth = d_model // num_heads self.wq = tf.keras.layers.Dense(d_model) self.wk = tf.keras.layers.Dense(d_model) self.wv = tf.keras.layers.Dense(d_model) self.dense = tf.keras.layers.Dense(d_model) def split_heads(self, x, batch_size): """Split the last dimension into (num_heads, depth).""" x = tf.reshape(x, (batch_size, -1, self.num_heads, self.depth)) return tf.transpose(x, perm=[0, 2, 1, 3]) def call(self, v, k, q, mask=None): batch_size = tf.shape(q)[0] q = self.wq(q) k = self.wk(k) v = self.wv(v) q = self.split_heads(q, batch_size) k = self.split_heads(k, batch_size) v = self.split_heads(v, batch_size) scaled_attention_logits = tf.matmul(q, k, transpose_b=True) / tf.math.sqrt(tf.cast(self.depth, dtype=tf.float32)) if mask is not None: scaled_attention_logits += (mask * -1e9) attention_weights = tf.nn.softmax(scaled_attention_logits, axis=-1) output = tf.matmul(attention_weights, v) output = tf.transpose(output, perm=[0, 2, 1, 3]) concat_output = tf.reshape(output, (batch_size, -1, self.d_model)) final_output = self.dense(concat_output) return final_output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rosefunR

你的赞赏是我创作的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值