《论文阅读》Sparse Sinkhorn Attention

最新推荐文章于 2025-03-10 00:15:00 发布
最新推荐文章于 2025-03-10 00:15:00 发布
阅读量2.6k 收藏 5
点赞数 4
分类专栏： 深度学习 计算机视觉 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/114288906
版权

留个笔记自用

Sparse Sinkhorn Attention

做什么

点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。在这里插入图片描述
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样
在这里插入图片描述

做了什么

设计了一种sparse attention的计算方法，引入了一个元排序网络，它学习生成序列的潜在排列。给定排序后的序列，就可以用局部窗口计算准全局注意力，从而提高注意力模块的存储效率。

怎么做

在这里插入图片描述
这里的输入是一个长为l的序列X，首先将其分为Nb个小块，每个小块包含了b个token，简单来说就是对一个句子先分块，块内再分段，就像存储方法一样。
然后提到了一点，常见的分块attention的做法里是段内封闭的，也就是当前块内的token只能跟本块里的所有token进行attention，而不能与块外的，显然这样就限制了全局性特征
于是这里为了解决这个问题，提出了一个排序网络sortnet，也就是说首先将input的序列首先输入这个网络，然后用这个网络对序列的块和感受野进行一个排序，这里排序的单位是块，然后根据排序后的一个序列结果（称为逻辑块），每个token再和逻辑块进行attention
具体来说
首先是排序网络sortnet
在这里插入图片描述
这里的输入X就是前面说的input序列∈Rl×d（l是长度，d是特征数），ψ是一个常见的块pool函数，将X分块成X’∈RNb×d，这里的Nb就是块数，其实有点特征维度映射的感觉
然后是
在这里插入图片描述
函数的具体做法就是这相当于取属于local窗口的所有token的和，简单就是窗口内token之和作为块代表
然后整体排序方法是
在这里插入图片描述
在这里插入图片描述
这里的Ri的意思是第i个block，Wp和Wb是线性权重，b是偏置权重，σ是激活函数，简单来说就是一个mlp计算得到它的投影，而输入是Xi’
简单来说就是首先先将输入分块，然后用一个sortnet对每块进行重新分配，用的一个mlp计算每个块到其他块的投影，也就是它移动到的位置
然后对于这里计算得到的R，使用了一个叫 SINKHORN NORMALIZATION的norm操作
首先先介绍了一下R，也就是前面得到的排序方法->排序矩阵R，为了让它成为标准的排序矩阵，需要它是非负的，并且行和列总和都是1也称为双随机矩阵，这里就是要学习如何将矩阵R双随机化
在这里插入图片描述
Fr和Fc是行和列标准化函数
在这里插入图片描述
这里的⚪是逐元素矩阵相除，1是单位向量，这里就是对矩阵R的行和列进行变化，具体的做法非常数学，在我这简单理解就是将R矩阵转换成能够满足我们需要的排序矩阵就行
得到了双随机化的排序矩阵R后
在这里插入图片描述
这里的B就是前面的block化函数，U则是token化函数，也就是将input序列块化后跟排序矩阵R相乘进行转换位置，然后使用U函数将块化还原成token
然后就是attention部分，Sparse Sinkhorn Attention
首先先看看普通的attention是怎么计算的，然后进行一个对比
在这里插入图片描述
而这里
在这里插入图片描述

首先第一步也是计算A，原来的A是Q（查询向量）K（键向量）V（值向量）计算得到，而这里多了一个函数ψ，这个函数就是排序函数，简单来说，对于Aij位置就是第i个点和第j个点的attention关系，首先使用i点的查询向量乘上j点的键向量，这里和之前的attention计算一样，但是多了一步就是前面的在这里插入图片描述
这里是加上了i点的查询向量和排序后的j点的键向量，这里的排序就是用到了前面的sortnet，文中说明的是，这等同于只启用关注而不启用某个局部邻域，其实在我看来就是利用了排序的变动性增强了局部和全局性，老套路了
在这里插入图片描述
然后就是softmax，值得注意的是这里也融合了两种，前面用的键向量也是转移后的，后面就是最普通的selfatt的计算
总的来说这里就是对原来block式attention的方式做了点改动，使它能更好的找到距离较远也就是非局部的关系
在这里插入图片描述
这里是在转移函数的基础上加了点noise，文中说这样做反正是有好处的
然后也是attention的老套路，mul-head，也就是多头计算
在这里插入图片描述
整多个一样的网络一步步算，然后把每步结果concat起来，经典全局-局部式增强
做好了这些基础工作后，这里又提出了一些问题
第一就是排序网络的问题，如果当前块i重排到了位置p并且p<i，这种情况就属于不合理（在nlp里，但在点云里感觉是合理的），等同于未来的信息流露到了现在进行计算，出现这种情况就应该被屏蔽掉
在这里插入图片描述
在这里插入图片描述

第二就是对前面的ψP进行的优化
在这里插入图片描述
为什么说不合理呢，因为前面的计算方法是
在这里插入图片描述
等同于把块内所有token的特征结合在一起，这种信息过于局部化，这里更新的方法是从第0个token的embedding开始，结合至第i个块的token的全部embedding，这样就会使得当前块的信息是具有前面所有的上下文信息的
除此之外，因为常见的句子embedding中会出现与其他都无关系的不重要部分，这里也用了常见的top-k方法来屏蔽那些不重要的权重
在这里插入图片描述
简单来说就是使用排序网络进行P排序的时候只取值较高的进行attention计算

总结

1.sparse attention的进化版，利用分块的方法减小计算量，同时还使用了排序的方法增强了全局稀疏点之间的关系，同样排序的方法也会使得就算block计算领域也显得能模拟全局

Sparse transformer - 之Sparse attention 稀疏注意力
weixin_56336619的博客
06-10 5431
Sparse Transformer: 主要目的是减少传统Transformer 的时间复杂度和空间复杂度。 通过top-k选择，将注意退化为稀疏注意。这样，保留最有助于引起注意的部分，并删除其他无关的信息。这种选择性方法在保存重要信息和消除噪声方面是有效的。注意力可以更多地集中在最有贡献的价值因素上。 论文《Generating Long Sequences with Sparse Transformers》 self-attention是O(n^2)，因为对序列中任意两个位置的均建立起关联； 节省显.
稀疏Attention
rosefun96的博客
10-29 6825
1. 模型 Self Attention是O(n2)O(n^2)O(n2)的，那是因为它要对序列中的任意两个向量都要计算相关度，得到一个n2n^2n2大小的相关度矩阵： 左边显示了注意力矩阵，右变显示了关联性，这表明每个元素都跟序列内所有元素有关联。 所以，如果要节省显存，加快计算速度，那么一个基本的思路就是减少关联性的计算，也就是认为每个元素只跟序列内的一部分元素相关，这就是稀疏Attenti...
Deepseek Natively Sparse Attention
asd8705的专栏
02-20 751
提出一种高效、可训练的稀疏注意力机制，以提高长文本处理的计算效率，同时保持模型性能。：可根据任务需求设定不同的窗口大小（例如代码生成任务可能需要更大的窗口）。NSA 通过以下三种不同的注意力计算路径，让 Transformer。是可学习的门控参数（Gating Mechanism）。- 这样，原始 Key-Value 变成了。- 这样可以降低计算量，同时保留重要信息。，为长文本建模提供了新的解决方案。的方式，将 Key-Value。，提高计算效率，同时保留重要信息。，大幅减少了 Key 的数量。
引领未来智能处理——深度探索Sinkhorn Transformer的魅力
gitblog_00081的博客
06-08 821
引领未来智能处理——深度探索Sinkhorn Transformer的魅力 去发现同类优质开源项目:https://gitcode.com/ 项目简介 Sinkhorn Transformer，一项基于《Sparse Sinkhorn Attention》论文的前沿实现，融入了参数化排序网络与高效的记忆管理策略。该项目不仅复现了原作的核心思想，还进一步增强了其功能，通过引入来自《Reformer》...
稀疏注意力：让长文本建模更高效
最新发布
gs80140的专栏
03-10 1294
稀疏注意力（Sparse Attention）通过限制注意力范围，减少计算开销，同时保持模型性能，为处理长序列提供了高效的解决方案。通过动态分层稀疏策略、连接模式设计、Hilbert 曲线置换和 8-bit 量化等技术，稀疏注意力显著降低了计算复杂度和内存占用，同时保留了关键信息，确保模型性能不下降。
探索开放源代码：`sparse_attention` - 实现高效注意力机制的新范式
gitblog_00028的博客
04-25 705
探索开放源代码：sparse_attention - 实现高效注意力机制的新范式 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，尤其是自然语言处理中，注意力机制（Attention Mechanism）已成为了不可或缺的一部分。它允许模型聚焦于输入序列中的关键部分，从而提高理解和预测的准确性。然而，随着序列长度的增长，全连接的注意力机制计算成本会急剧增加。为了解...
深度学习中的稀疏注意力
不要给自己设限，尝试更多可能（思所向 皆可往）
01-07 1万+
稀疏注意力的实现并不仅限于DeepSpeed。虽然DeepSpeed提供了一种高效的稀疏注意力实现，但其他深度学习框架和库也可能提供稀疏注意力的支持。例如，Hugging Face的Transformers库就包含了一些稀疏注意力的实现，如Longformer和BigBird。
稀疏自注意力（Sparse Self-Attention）
m0_51200050的博客
06-12 4049
稀疏自注意力以及举例说明
Attention Is All You Need 论文笔记
qq_46028841的博客
05-22 456
本文参考的原始论文地址：https://arxiv.org/abs/1706.03762 概述 传统的序列任务一般通过循环神经网络来解决，但是不管是单向还是双向的循环神经网络都无法实现运行运算，一个单元的运算依赖于其他部分的结果。为了解决并行运算的问题，可以使用CNN模型，对于同一层的卷积操作时，不同的卷积核可以并行的执行。但是在比较浅层的卷积层时，卷积核只能覆盖到很小的一块区域，只有更深的卷积层中的卷积核可以覆盖比较广的数据，因此使用CNN的局限就在于获取输入的信息需要多个卷积层操作，这就导致了网络模型会
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
论文阅读笔记（9）——《A Practical Survey on Faster and Lighter Transformers》
strivequeen的博客
04-03 476
1 Abstract2 Introductionrecurrent neural networks (RNNs)long short-term memory (LSTM) networksequence to sequence frameworkinter-attentionrelative effective context length (RECL)Transformer3 TransformerA. EncoderB. DecoderC. Self-AttentionD. Complexity4 G.
sinkhorn-transformer:Sinkhorn变压器-稀疏Sinkhorn注意的实际实现
05-04
灌角变压器 这是对“概述的工作的复制，并进行了其他增强。 它包括一个参数化的排序网络，使用接收器喇叭归一化对与最相关的关键字存储桶与查询存储桶相匹配的排列矩阵进行采样。 这项工作还引入了可逆网络和前馈分块（ 引入的概念），以进一步节省内存。 204k令牌（演示目的） 安装 $ pip install sinkhorn_transformer 用 基于Sinkhorn变压器的语言模型 import torch from sinkhorn_transformer import SinkhornTransformerLM model = SinkhornTransformerLM ( num_tokens = 20000 , dim = 1024 , heads = 8 , depth = 12 , max_seq_len = 8192 ,
【ECCV2020】接收论文列表part1
TomRen
07-18 7012
ECCV2020 接收论文完整列表 看论文学CV
一周新论文 | 2020年第9周 | 自然语言处理相关
语言智能技术笔记簿
03-01 4289
《一周新论文》系列之2020年第9周：自然语言处理相关
【DeepSeek】Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
weixin_44376877的博客
03-05 601
长上下文建模(Long-context modeling)对于下一代语言模型至关重要，但标准注意力机制(Attention Mechanism)的高计算成本带来了显著的挑战。稀疏注意力(Sparse Attention)为提升效率同时保持模型能力提供了方向。本研究提出了NSA（Natively trainable Sparse Attention），一种可原生训练的稀疏注意力机制，通过算法创新与硬件优化实现高效长上下文建模。NSA采用动态分层稀疏策略，结合粗粒度标记压缩(Token Compression)
《Sparse and Constrained Attention for Neural Machine Translation》
wwx123521的博客
03-21 605
背景：在NMT中，单词有时会从源中删除或在翻译中重复生成。 思路：普通的注意力计算中，在得到每个时间步隐藏层状态的分数后，对其softmax归一化处理得到权重值。sparsemax：在源语句单词上的稀疏，计算时只考虑一些单词，其余单词的概率为0。constrained softmax：在时间步上的稀疏，返回一个接近sofrmax(z)的分布，注意力概率受限于上界值，本文将这两个稀疏结合在一起，产...
【论文笔记】Understanding Long Programming Languages with Structure-Aware Sparse Attention
m0_61899108的博客
07-30 684
基于编程的预训练语言模型(PPLM)，如CodeBERT，在许多与下游代码相关的任务中取得了巨大的成功。但由于Transformer中自我注意的内存和计算复杂性随着序列长度的增加而呈二次曲线增长，因此PPLM通常将代码长度限制在512。然而，现实应用中的代码通常很长，例如代码搜索，现有的PPLM无法有效地处理这些代码。为解决这一问题，本文提出结构感知的稀疏注意力Transformer模型SASA，这是面向长代码序列的Transformer模型优化方法，致力于提升长代码场景下的效果和性能。...
大模型训练之加速篇 -attention优化【稀疏-＞线性化-＞分块计算MQA/GQA-＞计算(flash atten/dec)-＞缓存MLA】
weixin_36378508的博客
09-21 9783
加速
论文阅读【SWINBERT: End-to-End Transformers with Sparse Attention for Video Captioning】
hei_hei_hei_的博客
05-17 2029
SWINBERT: End-to-End Transformers with Sparse Attention for Video Captioning 发表
sparse attention的实现代码
06-03
以下是使用PyTorch实现的Sparse Attention代码示例： ```python import torch from torch import nn class SparseAttention(nn.Module): def __init__(self, input_dim, num_heads, dropout=0.1): super().__init__() self.num_heads = num_heads self.head_dim = input_dim // num_heads self.scale = self.head_dim ** -0.5 self.query = nn.Linear(input_dim, input_dim) self.key = nn.Linear(input_dim, input_dim) self.value = nn.Linear(input_dim, input_dim) self.dropout = nn.Dropout(dropout) self.out = nn.Linear(input_dim, input_dim) def forward(self, x, mask=None): batch_size, seq_len, input_dim = x.size() # Linear projections q = self.query(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) k = self.key(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) v = self.value(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) # Compute attention scores scores = torch.matmul(q, k.transpose(-2, -1)) * self.scale if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) # Apply dropout scores = self.dropout(torch.softmax(scores, dim=-1)) # Compute context vectors context = torch.matmul(scores, v) # Concatenate and reshape context = context.transpose(1, 2).contiguous().view(batch_size, seq_len, input_dim) # Apply output projection x = self.out(context) return x ``` 该实现将输入张量`x`通过一个全连接网络分别得到查询`q`、键`k`、值`v`张量，然后计算注意力得分`scores`，并使用softmax函数将得分转化为注意力权重，再将权重与值张量相乘得到上下文向量`context`，最后通过输出投影将上下文向量转化为输出张量。在计算注意力得分时，使用了mask进行掩码操作，以避免对无效位置产生注意力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值