2025创新idea！线性注意力机制狂发顶会！

最新推荐文章于 2025-03-31 17:13:10 发布
最新推荐文章于 2025-03-31 17:13:10 发布
阅读量1.1k 收藏 21
点赞数 21
文章标签： 深度学习 人工智能 cnn 神经网络 lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d22800/article/details/145854889
版权

​线性注意力机制是一种改进传统自注意力（Self-Attention）的方法，旨在降低计算复杂度并提高效率。传统自注意力机制的计算复杂度是输入序列长度的二次方（O(n²)），这使得它在处理长序列时效率较低且计算成本高昂。

我还整理出了相关的论文+开源代码，以下是精选部分论文

更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】 

论文1

标题：

Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models

Griffin：结合门控线性递归和局部注意力以提高语言模型效率

方法：

  • RG-LRU层：提出了一种新的门控线性递归层（RG-LRU），用于替代多查询注意力（MQA）。

  • 混合模型架构：设计了两种模型——Hawk（纯递归模型）和Griffin（混合递归和局部注意力的模型）。

  • 门控机制：在RG-LRU中引入了输入门和递归门，允许模型在保留历史信息的同时过滤不重要的输入。

创新点：

  • Griffin模型：在训练时使用的token数量比Llama-2少6倍的情况下，Griffin匹配了Llama-2的性能。

  • 长序列推理：Griffin能够处理比训练时更长的序列，且在长序列任务上表现优于Transformer基线。

  • 推理效率：在推理阶段，Griffin和Hawk的吞吐量比MQA Transformer高出14.8倍，延迟更低。

  • 硬件效率：在训练时，Griffin与Transformer的硬件效率相当，且在推理时具有更低的延迟和更高的吞吐量。

image.png

论文2

标题：

Simple linear attention language models balance the recall-throughput tradeoff

简单的线性注意力语言模型平衡了回忆和吞吐量的权衡

方法：

  • 基于线性注意力的架构（Based）：提出了一种结合线性注意力和滑动窗口注意力的混合架构。

  • Taylor线性注意力：使用二阶泰勒展开近似softmax函数，实现线性注意力的高效计算。

  • 滑动窗口注意力优化：通过选择小窗口大小（如64或128），优化了滑动窗口注意力的硬件效率。

创新点：

  • 回忆能力提升：Based模型在回忆任务上比Mamba等子二次模型高出6.22个准确度点。

  • 吞吐量优化：在生成1024个token时，Based的吞吐量比FlashAttention-2高出24倍。

  • 硬件效率：通过小窗口大小和硬件感知算法，Based在推理时的延迟比大窗口模型低1e-5倍。

  • 平衡权衡：Based通过调整线性注意力的特征维度和滑动窗口大小，能够在回忆能力和吞吐量之间灵活权衡。

image.png

论文3

标题：

Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation

训练短序列，测试长序列：线性偏置注意力实现输入长度的外推
方法：

  • 线性偏置注意力（ALiBi）：提出了一种新的位置编码方法，通过在注意力分数中引入与距离成比例的线性偏置，而不是添加位置嵌入。

  • 位置编码优化：ALiBi通过消除位置嵌入，直接在注意力分数中引入偏差，从而提高模型对序列长度的适应能力。

  • 简单实现：ALiBi通过修改现有Transformer代码中的几行代码即可实现，无需额外的训练参数。

创新点：

  • 性能提升：ALiBi在训练时使用的输入序列长度为1024，但在测试时能够处理长度为2048的序列，并且在困惑度上与训练长度为2048的正弦位置编码模型相当，同时训练速度提升11%，内存使用减少11%。

  • 长序列外推：ALiBi能够有效外推到比训练时更长的序列，且在长序列任务上表现优于其他位置编码方法。

  • 计算效率：ALiBi在训练和推理时的运行速度与正弦位置编码方法相当，且在某些情况下更快，同时内存使用略有增加（最多100MB）。

image.png

论文4

标题：

When Linear Attention Meets Autoregressive Decoding: Towards More Effective and Efficient Linearized Large Language Models

当线性注意力遇上自回归解码：迈向更高效、更有效的线性化大型语言模型

方法：

  • 线性注意力增强：提出了一种新的线性注意力增强技术，通过引入因果掩码的深度可分离卷积（DWConv）来防止信息泄露。

  • 分组线性注意力：将输入序列划分为非重叠组，通过局部注意力和分组注意力的结合提高效率。

  • 与推测解码的兼容性：开发了一种与推测解码兼容的线性注意力方法，通过展开卷积核并结合树状注意力掩码，实现高效的并行生成。

创新点：

  • 性能提升：在LLaMA模型上，使用增强的线性注意力方法实现了高达6.67倍的困惑度降低。

  • 生成加速：与现有线性注意力方法相比，生成速度提升高达2倍。

  • 长序列支持：通过增强的线性注意力，模型能够支持更长的序列长度（从8K扩展到32K），同时显著降低延迟和内存使用。

image.png

 

更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】 

YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 4万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
线性注意力
wuyuanli_r的博客
12-31 2200
这是关于提升transormer 效率的方法. 故而在单头自注意力机制上考虑. Q,K,VQ,K,VQ,K,V 都是 N×DN \times DN×D 矩阵, QKTQK^TQKT 的复杂度为 N2DN^2DN2D. 令 A:=softmax(QKTQK^TQKT). AVA VAV 的复杂度为 N2DN^2DN2D. 所以 注意力机制的复杂度为 Q(N2)Q(N^2)Q(N2). 我们之所以关注 N 是因为这关系到输入词汇的长度. 如果换一种想法 eQKT=ϕ(Q)ϕ(K)Te^{QK^T}=\phi
2025正在爆发！“PINN+注意力机制”成高校论文新赛道
奇华资料的博客
03-10 595
霸榜一区顶刊和各大顶会！光是ICLR25就有多篇。其中模型，更是取得了预测误差直降99.2％，收敛速度狂提的拔群效果！其热度可见一斑！主要在于：一方面，这两者结合非常好出创新点。PINN作为好“水”论文的顶流，传统的改进方法，早已卷成麻花，而与注意力机制结合，则是新兴思路，还在起步阶段。另一方面，其为处理复杂数据和多种模态数据的任务，提供了全新的解决方案。注意力机制动态权重分配的特点，能够克服PINN面临梯度消失或计算效率低的缺陷，助力模型的预测准确性和泛化能力的提升。
【论文笔记】线性注意力：Learning to (Learn at Test Time): RNNs with Expressive Hidden States
wufen_的博客
08-13 1328
现有的 RNN 层具有线性复杂度，但它们在长上下文中的性能受到隐藏状态表达能力的限制。在 Books 的 2k 上下文中，Pile Пk 的所有观察结果仍然成立，除了 Mamba 现在的表现略好于 TTT-Linear（而 它们的线在 Pile Пk 中大致重叠）。，这一过程通过自监督学习进行，即将历史上下文x视为没有label的数据集，而将隐藏状态视为模型，也就是将隐藏状态视作自监督模型产生的模型。对于批量大小b的选择，需要进行速度和质量之间的权衡，原文进行了实验，得到了如图的结果，故采取了b=16。
2025 Attention 再爆猛料！姚期智团队开源新型注意力机制，降本90% 直冲顶会！
03-06 1078
踏入2025年，不少科研人心中都有一个疑惑：仅靠改动注意力机制还能发表高质量论文吗？别急，姚期智大佬团队携新型注意力机制TPA强势登场，给出了响亮答案！TPA在节省高达90%内存占用的同时，性能丝毫不受影响，有望重塑现代注意力设计的格局。如今，单纯调整层数已难以在注意力机制领域掀起水花，想要突破，必须另谋出路。多头注意力机制、注意力机制融合、层次注意力机制等创新方向，正等待着科研人去探索。正如姚院士团队，巧妙改进多头注意力机制，并融入自适应注意力权重，取得令人瞩目的成果。
双线性注意力机制（Bilinear Attention）
wuhansong0592的专栏
02-24 202
双线性注意力机制通常用于处理多模态数据，如文本和图像。它通过计算两个模态特征之间的双线性交互，得到一个注意力分布，从而实现对不同模态信息的融合和加权。双线性注意力机制可以更好地捕捉不同模态之间的语义关联，提高模型在多模态任务中的性能。
线性注意力机制
最新发布
qq_45889056的博客
03-31 776
特性Linformer核心方法特征映射 + 结合律优化低秩投影压缩KKK和VVV复杂度ONO(N)ON（严格线性）ON⋅kON⋅k（近似线性）是否保留 Softmax❌ 替换为线性近似✅ 保留原始 Softmax是否需要投影矩阵❌ 无额外参数✅ 需学习EKEVE_K, E_VEK​EV​适用场景通用序列任务（生成、分类）超长序列（文档、图像）近似误差较高（依赖特征映射的合理性）较低（低秩假设成立时）开源实现GitHub。
简单图解一下线性注意力机制
zenRRan的博客
09-16 6627
知乎：刀刀宁链接：https://zhuanlan.zhihu.com/p/718156896线性注意力机制的文章有很多了，在本篇笔记中，我们简单地对各种方法进行一下图解比较，串一下当前的线性注意力机制，涉及的公式极少，主要梳理逻辑脉络。本文会从 state space model 中间状态模型这条主线，来梳理 RNN、LSTM，再到 Retentive、GLA 等 Linear Attentio...
【AI学习】Mamba学习（二）：线性注意力
bylander的博客
10-04 1247
Softmax 注意力的问题是，Softmax是非线性的函数，如果没有 Softmax，那么就是三个矩阵 (query・key)・value 连乘 ，而矩阵乘法满足结合率，可以调整为调整为 query・(key・value)。 (query・key)得到是n✖n的矩阵，(key・value)得到的是d✖d的矩阵。在d远小于n的情况下，复杂度就大致从O(n^2)降低到O(n)量级。
【Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation】CVPR2020
gesshoo的博客
03-20 1277
提出了一种线性注意力机制，与点乘注意力机制近似，但使用更少的内存和计算损耗。
结合小波变换的图像处理新突破！idea高创新，学会这操作轻松发CCF-B！
学姐带你玩AI的博客
12-27 856
对于论文er来说，算是个比较好出成果的方向发出的顶会paper也挺多，且idea质量高很值得学习，比如医图顶会MICCAI 2024上的WiNet，一个基于小波变换的增量学习网络，用于高效的医学图像配准，比SOTA减少了1/3的内存占用，同时速度更快。这里的小波变换其实是图像处理的一种常用数学工具，好用的点在于，它能够同时在时域和频域提供信号信息，反映信号局部变化特征，这让它，对我们提升图像质量和处理效率非常有帮助。因此不过目前它依然存在一些局限性尚。
CNN+LSTM+Attention多热点搭配！又是创新性拉满的高分思路！！
学姐带你玩AI的博客
11-06 4480
这个模型结合了三种不同类型的神经网络架构，充分挖掘了数据中的空间和时间信息，不仅能捕捉数据的局部特征和长期依赖关系，还可以自动关注输入数据中最重要的部分，在方面起到了非常重要的作用。因此它也是解决时间序列预测和其他序列数据处理任务的首选，关于它的研究在，比如分类准确率近100％的CBLA模型等。如果有论文er感兴趣，需要这方面的参考以便找idea，我这边也提供，开源的代码都附上了，希望可以给各位的论文添砖加瓦。论文原文+开源代码需要的同学看文末。
1+1＞2！今年小波变换的结合创新思路建议（附代码）
学姐带你玩AI的博客
02-05 1208
为提高模型在信号处理、图像分析、时间序列预测等多个领域的性能和准确性，我们考虑将这种结合利用了小波变换的多尺度分析能力，以及其他技术的优势，有效捕捉信号的局部特征，从而实现特征的高效提取与融合，，帮助我们更合理地利用资源。...创新空间还是很大的，可参考的顶会成果也比较多。本文挑选了方便有论文需求的同学找idea，开源代码基本都有，不想多花时间找参考的可直接拿。全部论文+开源代码需要的同学看文末。
2018顶会论文汇编
SIGAI_CSDN的博客
12-27 7061
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 CVPR 2018 大会时间：6月18日~22日 会议地点：盐湖城，UTAH 国际计算机视觉与模式识别会议（Conference on Computer Vision and Pattern Recogniti...
2025边界注意力前沿创新思路汇总！
Aimoxin111的博客
02-11 855
AI科研灵感致力于成为您在人工智能领域的领航者，定期更新人工智能领域的重大新闻与最新动态，和您一起探索AI的无限可能。立即关注我们，开启您的AI学习之旅！
暴力涨点！注意力机制40种前沿魔改方法汇总！2025发顶会就靠它了！
2401_82426425的博客
12-19 1086
都要2025了，还能靠加注意力机制发论文么？试了很多注意力机制，为何精度不升反降？毫无疑问，依然是深度学习论文创新和涨点的利器！但诸多传统注意力被过度使用，导致创新不足。且如今简单地改层数已经不算创新了！因而跟进领域前沿，采用全新的注意力机制才好脱颖而出，比如有模型就通过与频域结合进行魔改，实现了浮点运算降低98％的显著效果！此外，根据场景魔改也是重要趋势，比如关注添加注意力机制的位置、任务适配……为方便大家研究的进行，花了几天时间给大家整理了。
DeepSeek发布新的注意力机制NSA(论文详解)
算法熔炉的博客
02-19 2472
长上下文建模对于下一代语言模型至关重要，然而标准注意力机制的高计算成本带来了巨大的计算挑战。稀疏注意力为在保持模型能力的同时提高效率提供了一个有前景的方向。我们提出了原生可训练稀疏注意力机制（NSA），它将算法创新与硬件适配优化相结合，以实现高效的长上下文建模。NSA采用动态分层稀疏策略，将粗粒度token压缩与细粒度token选择相结合，既保留了全局上下文感知，又保证了局部精度。我们的方法通过两项关键创新推进了稀疏注意力设计：
注意力机制
weixin_63685622的博客
08-26 2019
Q：查询向量K：键向量V：值向量常规注意力机制;Q!=K=V；自注意力机制：Q=K=Vsoftmax：归一化指数函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值