什么是稀疏注意力

最新推荐文章于 2024-06-08 10:07:22 发布
最新推荐文章于 2024-06-08 10:07:22 发布
阅读量1.4k 收藏 9
点赞数 1
文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46516242/article/details/129705220
版权

什么是稀疏注意力

假设我们有一个包含很多像素的图像，每个像素可以看作是一个输入序列中的一个位置。如果我们使用传统的全局注意力机制来处理这个图像，那么我们需要计算每个像素与其他所有像素之间的相似度，并且为每个像素生成上下文向量。这个计算量非常大，因为图像中有很多像素，而且像素之间的相似度计算也很耗费时间和计算资源。相比之下，稀疏注意力机制则只考虑与当前像素相关的一小部分像素。我们可以使用一些方法来选择这些“关键像素”，例如使用卷积神经网络中的注意力机制，或者使用空间分层的方式来选择关键像素。一旦我们选择了关键像素，我们就只需要计算当前像素与这些关键像素之间的相似度，从而生成上下文向量。这样可以大大减少计算量和内存消耗，同时保持模型的性能。总之，稀疏注意力机制是一种通过选择与当前位置相关的一小部分内容来减少计算量和内存消耗的注意力机制。它在处理长序列数据，例如文本和图像等方面具有广泛的应用前景

菱湖农场
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sparse transformer - 之Sparse attention 稀疏注意力
weixin_56336619的博客
06-10 4643
Sparse Transformer: 主要目的是减少传统Transformer 的时间复杂度和空间复杂度。 通过top-k选择，将注意退化为稀疏注意。这样，保留最有助于引起注意的部分，并删除其他无关的信息。这种选择性方法在保存重要信息和消除噪声方面是有效的。注意力可以更多地集中在最有贡献的价值因素上。 论文《Generating Long Sequences with Sparse Transformers》 self-attention是O(n^2)，因为对序列中任意两个位置的均建立起关联； 节省显.
稀疏性在机器学习中的发展趋势：MoE、稀疏注意力机制
zenRRan的博客
03-15 4640
每天给你送来NLP技术干货！作者：唐工来源：https://zhuanlan.zhihu.com/p/463352552编辑：李rumorSparsity, ..., is another...
稀疏Attention
rosefun96的博客
10-29 6202
1. 模型 Self Attention是O(n2)O(n^2)O(n2)的，那是因为它要对序列中的任意两个向量都要计算相关度，得到一个n2n^2n2大小的相关度矩阵： 左边显示了注意力矩阵，右变显示了关联性，这表明每个元素都跟序列内所有元素有关联。 所以，如果要节省显存，加快计算速度，那么一个基本的思路就是减少关联性的计算，也就是认为每个元素只跟序列内的一部分元素相关，这就是稀疏Attenti...
深度学习中的稀疏注意力
不要给自己设限，尝试更多可能（思所向 皆可往）
01-07 4368
稀疏注意力的实现并不仅限于DeepSpeed。虽然DeepSpeed提供了一种高效的稀疏注意力实现，但其他深度学习框架和库也可能提供稀疏注意力的支持。例如，Hugging Face的Transformers库就包含了一些稀疏注意力的实现，如Longformer和BigBird。
Transformer优化之稀疏注意力
雨石
10-01 5981
最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。 以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。 Transformer:Attention集大成者 GPT-1 & 2: 预训练+微调带来的奇迹 Bert: 双向预训练+微调 Bert与模型压缩 Bert与模型蒸馏：PKD和DistillBert ALBert: 轻量级Bert TinyBert: 模型蒸馏的全方位应用 MobileBert:
稀疏注意力、交叉注意力
sevensummer7的博客
11-28 781
像一般的注意力，往往都是全局的，比如我们把一张100X100的图，分成了10X10的patchers，每个patchers当成一个输入，那么一般的注意力就是把这个输入和其他99个输入比较（有些时候是像素级别的比较，就是1个像素和9999个像素比较）这种情况就非常消耗资源。我们就可以通过，卷积网络中的注意力机制，或者对图像的分层。这种情况下，我们就可以大大减少资源的浪费，同时还能保持准确度。比如在nlp中，我要确定两句话的关联，我就可以将一句话作为输入，qk，另一句话作为额外的输入，v，来比较两句话的关系。
基于注意力机制的社交垃圾文本检测方法
01-20
针对噪声性与稀疏性问题，提出一种基于注意力机制的卷积神经网络检测方法。在经典卷积神经网络的基础上，该方法增加了过滤层，并在过滤层设计基于朴素贝叶斯权重技术的注意力机制，解决了噪声性问题。并且，它改变了...
基于SDBN和BLSTM注意力融合的端到端视听双模态语音识别
01-19
term memory，BLSTM）在时序上对特征进行模态处理，之后利用一种注意力机制将经过模态处理的唇部视觉信息和音频听觉信息进行自动对齐、融合，最后将融合的视听觉信息通过一个附加了Softmax层的BLSTM进行分类识别。...
ADNet:注意力导向的CNN图像去噪（神经网络，2020年）
05-02
受这一事实的启发，我们提出了一种注意力导向的去噪卷积神经网络（ADNet），主要包括稀疏块（SB），特征增强块（FEB），注意块（AB）和重构块（RB）图像降噪。 具体而言，SB通过使用膨胀的和普通的卷积来去除噪声，...
MinkowskiEngine：Minkowski Engine是一个用于高维稀疏张量的自动差异神经网络库
02-05
Minkowski引擎是一个用于稀疏张量的自动微分库。 它支持所有标准神经网络层，例如对稀疏张量的卷积，池化，解池和广播操作。 有关更多信息，请访问。 新闻 2020-12-24 v0.5现已发布！ 新版本为所有坐标管理功能提供...
deeplearning_class4:机器翻译、注意力机制与seq2seq模型
01-06
注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。本文通过文本情感...
LongFormer：用稀疏自注意力拓展模型文本容纳量
Paper weekly
04-25 1474
论文标题：Longformer: The Long-Document Transformer论文作者：Iz Beltagy (AllenAI), Matthew E. Peters (A...
稀疏变量的处理
J_sir2015的博客
08-08 2059
经常，对于高维的数据集，降维的第一步，就是删除那些包含相同信息的变量，就是变量取值很多相同的或者改变了的方差很小。 想删除第一步，就是，先问为什么？ 当然是模型不接受你这种的变量，好比如回归分析，把很多值相同的变量作为自变量，对于模型的拟合效果有影响。 那么，要删，当然先找到哪些属于稀疏变量。 nearZeroVar为caret包中函数的两个参数就是理论。 1.uniqueCut:是不同...
深度学习基础学习-注意力机制（计算机视觉中）
小夭的博客
08-10 7472
在网上看到很多关于注意力机制的说明，下面自己总结一下。大佬绕道下面放几个文章的链接这几年来，在是图像处理、语音识别还是自然语言处理等方面都有注意力机制应用。本文主要了解注意力机制在图像中的应用。........................
YOLOv8改进：注意力系列篇 | 动态稀疏注意力（BiLevelRoutingAttention） | CVPR2023
会AI的学姐
10-14 1211
动态稀疏注意力（BiLevelRoutingAttention），实现更灵活的计算分配和内容感知，使其具备动态的查询感知稀疏性，引入到YOLOv8，1）与C2f结合实现二次创新；2）注意力机制使用；
自注意力机制（Self-attention）-深度学习-台湾大学李宏毅
m0_49683806的博客
10-16 319
自注意力机制（self-attention）是一种用于处理序列数据的注意力机制，最早应用在Transformer模型中。自注意力机制能够在输入序列中建立起各个元素之间的关联性，并根据这些关联性为每个元素分配一个权重。
是科学还是魔法？Informer on MindSpore——时间序列预测技术实践
Kenji_Shinji的博客
06-15 1956
1研究背景时间序列预测在许多领域有着广泛和关键的应用，例如传感器网络监测、能源和智能电网管理、经济与金融、疾病传播分析等等。在这些应用场景中，可以利用大量关于过去行为的时间序列数据来做出长期预测，即长序列时序预测问题(LSTF)。不过现有的方法是在有限的问题设置下设计的，例如预测48个点或更少，而更长的序列长度则会使得模型的预测能力受到很大影响，这也是LSTF问题研究的关键点。最近的研究表明，Transformer模型具有提高预测能力的潜力。本文受到Transformer模型的启发，设计了Informer模
【文章学习系列之模型】Informer
博客标题不能为空
04-25 4138
《Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting》是2021年发表于AAAI的一篇论文。常规自注意机制和Transformer模型已达性能瓶颈，作者尝试寻找新的方法来提高Transformer模型的性能，使其在具备更高效计算、内存和架构能力的同时，又能拥有更优异的预测能力。基于此，该论文提出了一种新的时序预测思路和自注意力机制。
匹配算法 python
最新发布
heeheeai的博客
06-08 720
Siamese 网络使用两个相同的神经网络结构来提取输入对的特征，通过度量特征向量之间的距离进行匹配。Triplet Loss 用于训练模型，使得正样本对之间的距离小于负样本对之间的距离。余弦相似度用于计算两个向量之间的夹角余弦值，常用于文本匹配和推荐系统。SIFT 是一种在尺度和旋转上不变的特征点检测算法，常用于图像匹配。欧几里得距离是最常见的距离度量方法，计算两个点之间的直线距离。皮尔逊相关系数用于度量两个变量之间的线性相关性。曼哈顿距离计算两个点在所有坐标轴上的距离之和。
yolo概率稀疏注意力
09-28
YOLO是一种用于对象检测的深度学习算法，概率稀疏注意力则是针对YOLO模型中的注意力机制进行改进的技术。 YOLO算法是一种单阶段目标检测算法，其主要思想是将整个图像分割成网格，每个网格预测出候选框和类别概率。然而，传统的YOLO算法对于不同大小和形状的对象检测效果不佳，因为无法充分关注到小目标或者高密集目标。 为了解决这个问题，概率稀疏注意力被引入到YOLO模型中。它的核心思想是根据物体的重要性和难度来分配不同的注意力资源。对于重要和难检测的目标，模型会给予更多的注意力，从而提高其检测精度。而对于不重要或者易检测的目标，则分配较少的注意力资源。 具体来说，概率稀疏注意力通过引入注意力权重来调整YOLO模型对每个候选框的关注程度。这些注意力权重可以根据目标的大小、形状、重要性等特征来计算得到。在模型训练过程中，优化算法会通过最小化目标检测的损失函数来自动学习并调整这些注意力权重。 通过引入概率稀疏注意力，YOLO能够更加有效地关注到重要和难检测的目标，从而提高了目标检测的准确性和鲁棒性。在实际应用中，这种技术可以帮助我们更好地应对各种复杂场景下的对象检测任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值