一文看尽2024年11种主流注意力机制

最新推荐文章于 2025-03-30 00:40:42 发布
最新推荐文章于 2025-03-30 00:40:42 发布
阅读量1k 收藏 3
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247607800&idx=1&sn=2fe2c65ddafa505cbe411e1df0c72aee&chksm=f882c4806aa6c5c5c68fd1a4cf5dc3c7042f64a3f2805059ed68cd9eec182954a2083c07b2ac&scene=126&sessionid=0
版权

注意力机制已经成了模型设计的基础架构，现在模型里没个Attention都不好意思发出来。

从注意力机制发布到今天，学术界一直在对Attention进行各种魔改。魔改后的Attention能够提升模型的表达能力、增强跨模态能力和可解释性，以及优化模型大小与效率。

最重要的一点，很多注意力模块都是即插即用的。我们可以在自己的模型里用学术大牛的注意力模块，这样再做实验写论文绝对是事半功倍了。

近期，包括缩放点积注意力、多头注意力、交叉注意力、空间注意力、通道注意力等在内的11种主流注意力机制都有许多创新研究。今天分享112个11种主流注意力机制的创新研究，最新更新到24年9月。最新的创新思路非常适合大家用在实验中！

112个11种主流注意力机制的创新研究，paper和代码都帮大家下载整理好了。欢迎扫码领取。

bbe133b4debfb6b9747b88af8226bad4.png

扫码领112个11种主流注意力机制

创新研究paper和代码

9c2b0bcd413851d0cef0004ff1f00d16.jpeg

缩放点积注意力

  • 5.Sep.2024—LMLT:Low-to-high Multi-Level Vision Transformer for Image Super-Resolution

  • 4.Sep.2024—MobileUNETR:A Lightweight End-To-End Hybrid Vision Transformer For Efficient Medical Image Segmentation

  • 4.Sep.2024—More is More Addition Bias in Large Language Models

  • 4.Sep.2024—LongLLaVA:Scaling Multi-modal LLMs to 1000 Images Efficiently via Hybrid Architecture

......

b6e5fe933cf2d2e46622c57e77392644.jpeg

acaf5945328d3bcb1af75516766c8eb9.png

扫码领112个11种主流注意力机制

创新研究paper和代码

多头注意力

  • 4.Sep.2024—Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening

  • 30.Aug.2024—From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs

  • 25.Jun.2024—Temporal-Channel Modeling in Multi-head Self-Attention for Synthetic Speech Detection

  • 14.May.2024—Improving Transformers with Dynamically Composable Multi-Head Attention

......

329504e831bbc3b47ca88e2b325bf6a4.jpeg

f9d1b88945dcef8e7a8ab8aa8402926e.png

扫码领112个11种主流注意力机制

创新研究paper和代码

步幅注意力

  • 25.Aug.2024—Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

  • 21.Aug.2024—Unlocking Adversarial Suffix Optimization Without Affirmative Phrases: Efficient Black-box Jailbreaking via LLM as Optimizer

  • 16.Aug.2024—Fine-tuning LLMs for Autonomous Spacecraft Control: A Case Study Using Kerbal Space Program

  • 15.Aug.2024—FuseChat Knowledge Fusion of Chat Models

......

a0170af27d488ea13dd9863068189e69.jpeg

3548f2dc5770e5b9faecb0ec4aba30a7.png

扫码领112个11种主流注意力机制

创新研究paper和代码

YOLOv9改进策略：注意力机制 | 归一化的注意力模块（NAM）
03-17 1268
NAM作为一种高效且轻量级的注意力机制。采用了CBAM的模块集成并重新设计了通道和空间注意子模块。
大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1004
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
【计算机视觉 | 注意力机制】13种即插即用涨点模块分享！含注意力机制、卷积变体、Transformer变体等
wzk4869的博客
11-29 1万+
【计算机视觉 | 注意力机制】13种即插即用涨点模块分享！含注意力机制、卷积变体、Transformer变体等
YOLO11改进-模块-双域带状注意力机制DSAM ，增强图像细节特征以及多尺度小目标检测精度
qq_64693987的博客
03-18 2273
DSAM 基于双域学习理论，通过空间和频率两个域的信息融合，增强图像特征表示。在空间域，SSA 利用简单卷积分支生成注意力权重，聚合相邻位置信息；在频率域，FSA 通过带状平均池化分离频率成分，用轻量级注意力参数调制，减少清晰和退化图像对之间的频率差距。此外，DSAM 应用不同带状大小进行多尺度学习，以更好地处理各种尺寸的退化。DSAM 被应用于 DSANet 网络中，该网络采用流行的编码器 - 解码器架构。
注意力机制（SE、Coordinate Attention、CBAM、ECA，SimAM）、即插即用的模块整理
weixin_44645198的博客
12-23 4万+
总结曾经使用过的一些即插即用的模块以及一些注意力机制 注意力模块：SE 代码源自这位大佬的仓库：https://github.com/moskomule/senet.pytorch class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1)
YOLOv9有效改进|CVPR2023即插即用的到残差注意力机制（轻量化注意力机制）Inverted Residual Mobile Block
深度学习炼丹师，偶尔分享炼丹技术!
03-21 2117
在YOLOv9中加入CVPR2023即插即用的到残差注意力机制。结合了倒置残差块（IRB）和Transformer的动态模型能力，从而扩展了CNN的IRB到基于注意力的模型。iRMB的设计目标是在保持模型轻量级的同时，实现对计算资源的有效利用和高准确率。一种轻量化模块，适合移动端部署。Inverted Residual Mobile Block仅由标准卷积和 MHSA 组成，没有其他复杂的操作符。
2024最全注意力机制模型全家桶！永久更新！
m0_61878377的博客
06-06 2320
关于注意力机制（Attention）的研究与应用越来越多，这并不是空穴来风。可以说，注意力机制就像人的大脑皮层，让我们的模型更加智能化。 但是，这么多模型到底该怎么选择？今天小当家推出最全注意力机制全家桶，共10种结合注意力机制的模型，每种模型可以进行回归预测、时间序列预测，并且已经在真实数据上得到验证，代码注释也是十分清楚，适合新手！！！
论文中常用的注意力模块合集(上)
soaring_casia的专栏
02-10 6103
在深度卷积神经网络中，通过构建一系列的卷积层、非线性层和下采样层使得网络能够从全局感受野上提取图像特征来描述图像，但归根结底只是建模了图像的空间特征信息而没有建模通道之间的特征信息，整个特征图的各区域均被平等对待。在一些复杂度较高的背景中，容易造成模型的性能不佳，因此可以引入注意力机制，而注意力机制的原理是通过参考人的视觉感知能力，即人在处理视觉信息初期会集中专注于当前情景下重点区域，而其他区域将相应降低，这为更高层级的视觉感知和逻辑推理以及更加复杂的计算机视觉处理任务提供更易于处理且更相关的信息。
一文读懂「LM，Large Model / Foundation Model」大模型
女王の专属领地
02-03 5609
大模型是指具有大量参数的机器学习模型，通常指深度学习模型。首先，大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型，旨在模仿人脑的学习和决策过程该模型由多个神经元组成，这些神经元通过权重连接形成层次结构，通常分为输入层、隐藏层和输出层。输入层接收原始数据，输出层产生最终的输出，而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重，从而能够识别模式、进行分类、回归等任务。
一文看遍AI行业大模型
mama19971023的博客
08-02 987
通用大模型技术快速发展，但很多传统行业推进得并不快。对企业而言，大模型应用需要综合考虑专业性、数据安全、持续迭代和综合成本等多种因素。针对这些现实情况，腾讯集团提出重点发展行业大模型的理念。本文基于一线大量实践反馈，做出系统归纳总结，呈现行业大模型发展真实情况，厘清关键争议和困惑问题。真正解决用户需求、距离场景和数据更近的企业，将拥有大模型的未来。
一文看懂DeepSeek普通人：国产大模型的突破性进展
最新发布
TechEnthusiast的博客
03-30 139
DeepSeek普通人是由DeepSeek团队推出的一款定位于日常助手的大语言模型，区别于其他更加学术化或专业化的AI模型，它以贴近普通用户的交互风格和解决日常问题的能力为核心特色。
注意力模块
weixin_64043217的博客
02-18 1万+
注意力机制
YOLOv9最新改进系列：完美融合即插即用的涨点模块之注意力机制（SEAttention）。
B站 Ai学术叫叫兽的文案地
04-27 1180
YOLOv9最新改进系列：完美融合即插即用的涨点模块之注意力机制（SEAttention）。
YOLOv8改进 | 添加注意力篇 | 2024最新的空间和通道协同注意力模块SCSA改进yolov8有校涨点（含二次创新C2f）
Snu77的博客
11-03 6078
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制。
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
热门推荐
YOLOv8项目贡献者
04-27 20万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
大模型 | 视觉注意力机制——通道注意力、空间注意力、 混合注意力、自注意力、交叉注意力
Androiddddd的博客
10-08 4280
注意力机制（通道注意力、空间注意力、自注意力和交叉注意力）是现代神经网络模型中至关重要的技术。它们通过动态调整输入特征的权重，增强模型对重要信息的关注，从而显著提升了各种复杂任务（如图像处理、自然语言处理和多模态任务）的性能。这些机制的广泛应用和不断发展，促进了深度学习技术的进步和创新。
9种卷积注意力机制创新方法汇总，含2024最新
学姐带你玩AI的博客
12-27 1万+
今天咱们来聊聊。相信各位在写论文的时候都苦恼过怎么更好地改模型，怎么更高效地提高模型的性能和泛化能力吧？我的建议是，不妨考虑考虑。卷积注意力机制是一种通过关注输入数据中的不同部分来改进模型性能的方法，结合了卷积网络和Transformer各自的优势，以同时获得更好的泛化能力和更大的模型容量。因此，通过将二者有效结合，卷积注意力机制就能帮助我们在准确性和效率之间实现更好的平衡。今天我就帮同学们整理了，帮助想发论文的同学更高效地改模型涨点，早点发出自己的顶会。另外，每种思路我都整理了。
注意力机制新突破！自适应Attention性能优越，可缝合到多种任务中
学姐带你玩AI的博客
05-30 5064
自适应注意力对比传统注意力机制，可以显著提高深度学习模型在处理复杂数据上的效率和准确性。这种机制的核心在于：通过计算输入数据中不同部分之间的相关性或重要性，为这些数据部分分配不同的注意力权重，从而让模型能够更加专注于关键信息。这样。它也因此拥有广泛的应用范围，成为了深度学习领域的一个热门方向。为帮助各位快速了解这个新兴的、创新力十足的研究主题，我这次整理了，并简单提炼了可参考的方法以及创新点，希望能给各位的论文添砖加瓦。论文原文以及开源代码需要的同学看文末。
最容易理解的ConViT: Improving Vision Transformerswith Soft Convolutional Inductive Biases
11-25 3317
之前的博客介绍了transformer和transformer在CV领域应用的VIT论文，有兴趣的同学可以参考transformer、VIT。VIT虽然在性能上已经达到了目前图像分类的SOTA的程度，但是它需要依赖巨大的数据集，比如Google的JFT都是以亿为单位计算的。显然，作为我们这种个人玩家是无法应用的，那么Facebook继VIT之后，推出ConVit解决了该问题，今天这篇博客就是介绍大家可以应用的在CV领域的transformer-ConVit，话不多说，还是先上连接：ConVi...
即插即用注意力机制2024
02-25
### 即插即用注意力机制概述 即插即用注意力机制（Plug-and-Play Attention Mechanism）旨在简化深度学习模型中引入复杂注意力模块的过程。该机制允许开发者通过简单的接口集成高效的注意力计算单元到现有的神经网络架构中，而无需大幅修改原有结构[^1]。 对于2024年版本的即插即用注意力机制，在设计上更加注重灵活性与性能优化： - **灵活配置**：支持多种类型的输入数据流处理方式，包括但不限于图像、文本以及时间序列等多模态信息融合； - **高效训练**：采用约束强化学习方法来指导参数调整过程，从而加速收敛速度并提高最终效果表现； - **易于扩展**：提供标准化API以便于第三方库接入，并鼓励社区贡献更多创新性的实现方案； 以下是基于PyTorch框架的一个简单示例代码片段展示如何快速应用此机制至卷积神经网络(CNN)中: ```python import torch.nn as nn from ppa_module import PPAAttentionLayer # 假设PPA为即插即用注意力层 class CNNWithPAA(nn.Module): def __init__(self): super().__init__() self.conv_layers = nn.Sequential( nn.Conv2d(3, 64, kernel_size=3), nn.ReLU(), ... ) self.paa_layer = PPAAttentionLayer() # 插入即插即用注意力层 def forward(self, x): features = self.conv_layers(x) attended_features = self.paa_layer(features) return attended_features ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值