一文看尽2024年主流11注意力机制

最新推荐文章于 2025-04-12 10:32:38 发布
最新推荐文章于 2025-04-12 10:32:38 发布
阅读量696 收藏 1
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247624364&idx=1&sn=ba8b4192f2dd6a3fd41d463e6e30d68c&chksm=fadb59f0b7f0c236a4f8acd97ee0d9973eb0bd2aa33da40dd315bc3a8bd2f6ed5e1fb633351e&scene=126&sessionid=0
版权

注意力机制已经成了模型设计的基础架构，现在模型里没个Attention都不好意思发出来。

从注意力机制发布到今天，学术界一直在对Attention进行各种魔改。魔改后的Attention能够提升模型的表达能力、增强跨模态能力和可解释性，以及优化模型大小与效率。

最重要的一点，很多注意力模块都是即插即用的。我们可以在自己的模型里用学术大牛的注意力模块，这样再做实验写论文绝对是事半功倍了。

近期，包括缩放点积注意力、多头注意力、交叉注意力、空间注意力、通道注意力等在内的11种主流注意力机制都有许多创新研究。今天分享112个11种主流注意力机制的创新研究，最新更新到24年9月。最新的创新思路非常适合大家用在实验中！

112个11种主流注意力机制的创新研究，paper和代码都帮大家下载整理好了。欢迎扫码领取。

1b21af080cf486f10c50ffcb39d661e0.png

扫码领112个11种主流注意力机制

创新研究paper和代码

6ef95709b884a36b6832033013182320.jpeg

缩放点积注意力

  • 5.Sep.2024—LMLT:Low-to-high Multi-Level Vision Transformer for Image Super-Resolution

  • 4.Sep.2024—MobileUNETR:A Lightweight End-To-End Hybrid Vision Transformer For Efficient Medical Image Segmentation

  • 4.Sep.2024—More is More Addition Bias in Large Language Models

  • 4.Sep.2024—LongLLaVA:Scaling Multi-modal LLMs to 1000 Images Efficiently via Hybrid Architecture

......

130d5d0b0809f7a7a1da80ca3c0224f6.jpeg

4e924b769d3149d35fc6f51dae24095e.png

扫码领112个11种主流注意力机制

创新研究paper和代码

多头注意力

  • 4.Sep.2024—Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening

  • 30.Aug.2024—From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs

  • 25.Jun.2024—Temporal-Channel Modeling in Multi-head Self-Attention for Synthetic Speech Detection

  • 14.May.2024—Improving Transformers with Dynamically Composable Multi-Head Attention

......

d1e975b692aec6baad9202df7d724035.jpeg

2602b27224fc478e54723285cf9730fb.png

扫码领112个11种主流注意力机制

创新研究paper和代码

步幅注意力

  • 25.Aug.2024—Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

  • 21.Aug.2024—Unlocking Adversarial Suffix Optimization Without Affirmative Phrases: Efficient Black-box Jailbreaking via LLM as Optimizer

  • 16.Aug.2024—Fine-tuning LLMs for Autonomous Spacecraft Control: A Case Study Using Kerbal Space Program

  • 15.Aug.2024—FuseChat Knowledge Fusion of Chat Models

......

932a2b105099aed83f2166d0d76a71d6.jpeg

683dce1fb4ed0c95e7e30a8d2103f669.png

扫码领112个11种主流注意力机制

创新研究paper和代码

大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1160
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
一文看懂DeepSeek普通人：国产大模型的突破性进展
TechEnthusiast的博客
03-30 175
DeepSeek普通人是由DeepSeek团队推出的一款定位于日常助手的大语言模型，区别于其他更加学术化或专业化的AI模型，它以贴近普通用户的交互风格和解决日常问题的能力为核心特色。
暴力涨点！注意力机制40种前沿魔改方法汇总！2025发顶会就靠它了！
2401_82426425的博客
12-19 1541
都要2025了，还能靠加注意力机制发论文么？试了很多注意力机制，为何精度不升反降？毫无疑问，依然是深度学习论文创新和涨点的利器！但诸多传统注意力被过度使用，导致创新不足。且如今简单地改层数已经不算创新了！因而跟进领域前沿，采用全新的注意力机制才好脱颖而出，比如有模型就通过与频域结合进行魔改，实现了浮点运算降低98％的显著效果！此外，根据场景魔改也是重要趋势，比如关注添加注意力机制的位置、任务适配……为方便大家研究的进行，花了几天时间给大家整理了。
学习笔记1——常用的注意力机制（即插即用）
热门推荐
daige123的博客
07-12 1万+
常用的即插即用的注意力机制原理及代码
特征图注意力_CVPR2020 图像识别之自注意力机制
weixin_39872044的博客
11-21 937
Exploring Self-attention for Image RecognitionExploring Self-attention for Image Recognition​arxiv.org一 文章出发点现在哪哪都用的注意力。文章认为传统的卷积可分为，特征聚集（空间卷积)+特征变化（通道卷积），实际也就是分通道独立卷积的思想。而且特征聚集中3*3卷积所考虑的空间大小固定，所以作者也...
2024最全注意力机制模型全家桶！永久更新！
m0_61878377的博客
06-06 2369
关于注意力机制（Attention）的研究与应用越来越多，这并不是空穴来风。可以说，注意力机制就像人的大脑皮层，让我们的模型更加智能化。 但是，这么多模型到底该怎么选择？今天小当家推出最全注意力机制全家桶，共10种结合注意力机制的模型，每种模型可以进行回归预测、时间序列预测，并且已经在真实数据上得到验证，代码注释也是十分清楚，适合新手！！！
CVPR 2024 即插即用！ CA：新注意力机制，助力分类 检测 分割涨点！
2401_83947398的博客
04-28 4332
与Non-local/self-attention的方法不同，CA方法考虑了一种更有效的方法来捕获位置信息和通道关系，以增强Mobile Network的特征表示。这2种转换也允许注意力模块捕捉到沿着一个空间方向的长期依赖关系，并保存沿着另一个空间方向的精确位置信息，这有助于网络更准确地定位感兴趣的目标。然而，它只考虑通过建模通道关系来重新衡量每个通道的重要性，而忽略了位置信息，但是位置信息对于生成空间选择性attention maps是很重要的。是2个线性变换，可以通过学习来捕捉每个通道的重要性。
CVPR 2025 | DiG：具有门控线性注意力的高效扩散模型
阿木寺的博客
03-06 399
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！作者：科技猛兽 ｜ 转载自：极市平台导读在相同的模型尺寸下，DiG-XL/2 比基于 Mamb...
魔改Attention大集合
m0_37909240的博客
11-04 941
Github地址： https://github.com/Separius/awesome-fast-attention Efficient Attention Paper (引用量) 源码实现 复杂度 AutoRegressive Main Idea Generating Wikipedia by Summarizing Long Sequences[1](208) ...
一文读懂「LM，Large Model / Foundation Model」大模型
女王の专属领地
02-03 5892
大模型是指具有大量参数的机器学习模型，通常指深度学习模型。首先，大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型，旨在模仿人脑的学习和决策过程该模型由多个神经元组成，这些神经元通过权重连接形成层次结构，通常分为输入层、隐藏层和输出层。输入层接收原始数据，输出层产生最终的输出，而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重，从而能够识别模式、进行分类、回归等任务。
一文看遍AI行业大模型
Aweii__的博客
07-27 1093
通用大模型技术快速发展，但很多传统行业推进得并不快。对企业而言，大模型应用需要综合考虑专业性、数据安全、持续迭代和综合成本等多种因素。针对这些现实情况，腾讯集团提出重点发展行业大模型的理念。本文基于一线大量实践反馈，做出系统归纳总结，呈现行业大模型发展真实情况，厘清关键争议和困惑问题。真正解决用户需求、距离场景和数据更近的企业，将拥有大模型的未来。
CVPR 2025 | 清华团队提出MambaIRv2：Mamba＋注意力混合架构突破SOTA，推理效率提升300%！
最新发布
xiaoganbuaiuk的博客
04-12 837
基于状态空间模型（SSM）的线性计算架构，Mamba在长序列建模领域展现出与Transformer相当的竞争力。清华大学研究团队最新提出的MambaIRv2创新融合两种技术优势，在图像复原领域实现了计算效率与全局精度的双重突破。该方案通过硬件感知扫描优化策略（HASS）实现关键技术改进：将传统四阶段扫描流程优化为单次扫描流程，结合动态注意力加权机制，在DIV2K数据集测试中，不仅维持97.3%的像素信息完整性，更实现58%的能耗降低。
计算机视觉中的注意力机制
腾讯技术工程
02-15 2555
引言：在机器翻译（Machine Translation）或者自然语言处理（Natural Language Processing）领域，以前都是使用数理统计的方法来进行...
改进YOLO系列 | CVPR2023最新注意力 | BiFormer：视觉变换器与双层路由注意力
YOLOv8项目贡献者
04-24 5239
🍀🍀🍀CVPR2023最新注意力 | BiFormer：视觉变换器与双层路由注意力
mask rcnn算法分析_注意力模型RPN（faster-rcnn）与APN(RA-CNN）对比精析
weixin_39628256的博客
11-21 1434
文章有些长，建议收藏后慢慢看。细粒度图像分类仍然是一个可以出文章的课题。做这个方向的人，我觉得可以好好琢磨注意力机制。注意力机制的本质跟人眼的工作原理是相近的，因而可以让机器更智能。学习就是一个建立知识树的过程。网上有很多文章都只是树身上树干上的一个小枝干，所以不能给你建立一个完整的知识体系树。今天我这篇文章也只是一个小枝干。我力争让大家能够窥一斑而知全豹。Faster-rcnn和RA-CNN两篇...
改进YOLO系列：CVPR2023最新注意力技术BiFormer：视觉变换器与双层路由注意力
IbcVue的博客
09-22 850
通过使用上述的源代码实现，研究人员和开发者们可以进一步探索和应用这一新颖的目标检测模型，为计算机视觉领域的研究和应用带来更多的可能性。然而，在CVPR2023会议上，研究人员提出了一种改进的YOLO系列模型，结合了最新的注意力技术，命名为BiFormer。双层路由注意力机制包括两个注意力层。这些创新技术的引入使得模型能够更好地捕捉物体的语义信息和空间关系，提高目标检测的准确性和鲁棒性。BiFormer模型是基于Transformer架构的目标检测模型，它引入了双层路由注意力机制，以提高目标检测的性能。
CVPR | CNN融合注意力机制，芜湖起飞！
02-05 1794
*标题：**On the Integration of Self-Attention and Convolution**论文链接：**https://arxiv.org/pdf/2111.14556**代码链接：**https://github.com/LeapLabTHU/ACmix。
注意力机制又起飞了！“大核卷积+Attention”横扫CVPR！
2401_82426425的博客
12-03 843
想要同时提升模型的性能和效率？！近来其光是在CVPR就有多篇成果，比如模型EMCAD，便在医学图像分割任务中实现了参数减少79.4％、FLOPs减少80.3％，而性能远超SOTA的显著效果！这是因为，相比传统卷积，大核卷积能够扩大感受野，使得网络在不增加参数数量的情况下，捕获更广泛的上下文信息；而注意力机制的使用，则能增强模型对目标特征的敏感性，两者结合，优势互补！此外，该思路应用也很广泛，各种CV任务、强化学习、NLP任务等，都有它的身影，可发挥空间很大，想发论文的伙伴赶紧上车。
注意力机制23种魔改方法汇总
moonlightpeng的博客
01-19 207
高效涨点！注意力机制23种魔改方法汇总，含2023最新 - 知乎
注意力机制2024
03-08
### 2024年注意力机制的研究与发展 在2024年的技术发展中，注意力机制迎来了显著的进步和创新。特别是在计算机视觉领域，YOLOv8引入了一种全新的注意力机制——ELA (Enhanced Local Attention)[^2]。 #### ELA增强局部注意机制的特点 ELA旨在通过优化特征图中的空间关系来提升模型性能。具体来说，该方法不仅关注全局上下文信息，还特别强调了局部区域内的交互作用。这种设计使得网络能够更有效地捕捉到目标对象的细节特征，在物体检测任务上表现出色。 ```python import torch.nn as nn class ELABlock(nn.Module): def __init__(self, channels): super(ELABlock, self).__init__() self.conv = nn.Conv2d(channels, channels, kernel_size=1) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.conv(torch.mean(x, dim=(2, 3), keepdim=True)) max_out = self.conv(torch.max(x, dim=(2, 3), keepdim=True)[0]) out = self.sigmoid(avg_out + max_out) return x * out.expand_as(x) ``` 除了YOLO系列外，其他深度学习框架也开始探索不同形式的新型注意力模块。这些进步共同推动着整个AI行业向前发展。 对于大型语言模型(LLMs)，虽然主要焦点在于架构扩展与应用拓展方面，但也有部分工作致力于改善其内部使用的自回归变换器结构中的多头自我注意层效率问题[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值