【注意力机制】加性注意力(Additive Attention)&缩放点积注意力(Scaled Dot-product Attention)

最新推荐文章于 2024-06-04 10:00:05 发布
最新推荐文章于 2024-06-04 10:00:05 发布
阅读量4k 收藏 20
点赞数 6
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51031772/article/details/134803987
版权

加性注意力

这种注意力方法是第一篇文章被提出来的，也被叫做Bahdanauz注意力。主要计算方法是将h和s先用两个参数矩阵W^q （q*d）和W^k （k*d）分别映射到d维，然后把他们相加（element-wise），经过一个tanh激活函数后，再与另一个参数矩阵W（也是d维）进行点积，最终得到注意力权重α（标量），随后需要用softmax进行归一化。

李宏毅老师的讲解：

王树森老师的讲解，这里是把两个参数矩阵W^q和W^k先拼接到了一起，然后对拼接好的输入向量进行点积，因为点积计算也是加性的，所以被叫做加性注意力。

这种注意力的计算方法现在比较不常用

缩放点积注意力

这是Transformer文章提出的注意力计算方法，也被叫做Vaswani注意力。

主要计算方法是将h和s先用两个参数矩阵W^q （q*d）和W^k （k*d）分别映射到d维，然后直接把他们点积，然后再softmax，得到注意力权重α。

注意的是这里需要进行一个缩放，作者认为，对于较大的 d 值，点积的数量级会变大，从而将 softmax 函数推向梯度极小的区域，不利于训练。因此需要除以\sqrt{d_k}

李宏毅老师的讲解：

火鸡大师傅
关注
从零开始实现大语言模型（五）：缩放点积注意力机制
RuizhiHe
07-13 355
缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列$x_1, x_2, \cdots, x_n$，计算context向量$z_1, z_2, \cdots, z_n$。
注意力机制的两种常用形式-----加性注意力（Additive Attention）和点积注意力（Dot-product Attention）
最新发布
m0_51200050的博客
06-28 982
注意力机制是现代自然语言处理模型（如Transformer）的核心组件。最常用的两种注意力机制是加性注意力（Additive Attention）和点积注意力（Dot-product Attention）。加性注意力和点积注意力在理论复杂度上相似，但点积注意力更快且更节省空间，因为它可以利用高度优化的矩阵乘法代码。通过具体数据示例，我们可以看到这两种注意力机制的工作原理和实际计算过程。：利用注意力权重对值（value）：通过计算点积并除以缩放因子。类似地，计算其他相似度。类似地，计算其他相似度。
深度探索：机器学习中的加性注意力（Additive Attention）原理及应用
qq_51320133的博客
04-30 2644
加性注意力机制凭借其灵活的注意力分配能力，在自然语言处理、计算机视觉等多个领域展现了强大的应用潜力。它不仅能够有效提升模型对序列数据的理解能力，还能增强模型的可解释性，使得我们能够洞察模型决策背后的逻辑。 然而，面对日益复杂的数据处理需求和计算资源的限制，如何进一步优化加性注意力机制，减少计算负担，提升训练效率，成为研究的重点。未来的研究方向可能包括：
Transformer：加性注意力还是点积注意力？这是个问题~
xian0710830114的专栏
06-04 1349
加性注意力（Additive Attention）和点积注意力（Multiplicative Attention，也称为缩放点积注意力，Scaled Dot-Product Attention）是两种常见的注意力机制，用于计算不同序列元素之间的相关性。加性注意力最初用在seq2seq；点积注意力最初用在Transformer。总的来说点积注意力更符合当下的NLP模型，使用的更广泛。
深度学习笔记——Attention Model（注意力模型）学习总结
热门推荐
mpk_no1的博客
08-06 15万+
Attention Model（注意力模型）学习总结，包括soft Attention Model，Global Attention Model和Local Attention Model，静态AM，强制前向AM的一些介绍，以及AM具体实现公式的几个变体及介绍，最后附上了自己用keras实现的一个静态AM的代码。
注意力机制——注意力评分函数（代码+详解）
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
一步一步理解大模型：缩放点积注意力机制
chattyfish的博客
04-19 6447
具体来说，Multi-Head Attention将输入矩阵分别进行多个头的线性变换，然后对每个头的变换结果分别计算Scaled Dot-Product Attention，最后将每个头的Attention结果拼接在一起并通过一个线性变换输出。通过这种方式，Scaled Dot-Product Attention可以计算出Query和Key之间的相似度，同时考虑了Value矩阵对最终结果的影响，进而实现了注意力机制的作用。将scores除以d_k的平方根（np.sqrt(d_k)），这就是所谓的缩放，
加性注意力机制、训练推理效率优于其他Transformer变体，这个Fastformer的确够快...
zandaoguang的博客
08-30 287
视学算法报道机器之心编辑部从训练与推理效率来看，清华和微软亚研提出的 Fastformer 无愧于「fast」。在过去的几年里，Transformer 及其变体在很多领域取得了巨大成功，但...
详解加性注意力和缩放点积注意力
Iswayzw的博客
10-31 1118
注意力机制的本质是加权求和，评分函数a计算查询与键之间的注意力分数，经过softmax计算得到注意力权重，权重与值进行加权求和得到注意力输出。
加性注意力机制！清华和MSRA提出Fastformer：又快又好的Transformer新变体！
阿木寺的博客
09-22 1325
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：机器之心从训练与推理效率来看，清华和微软亚研提出的 Fastformer 无愧于「fast」。在过去的几年里...
注意力机制介绍.zip
04-09
6. **乘性注意力**（Multiplicative Attention）或称为scaled dot-product attention，是Transformer中最常用的注意力形式，通过向量的点积直接计算注意力权重，然后进行缩放。 注意力机制的应用并不限于NLP，它也...
注意力机制：深度学习的核心机制及其在自然语言处理中的应用.pdf
05-06
软注意力的典型实现包括加性注意力（Additive Attention）和缩放点积注意力（Scaled Dot-Product Attention）。其中，缩放点积注意力是 Transformer 模型的核心组成部分之一，它通过计算查询向量与键向量之间的点积...
Attention注意力机制原理及在seq2seq中的应用（Bahadanau Attention）
weixin_45169380的博客
02-13 2688
心理学定义：在复杂的情况下关注值得注意的点 “是否包含自主性提示”将注意力机制与全连接层或汇聚层区别开来： 卷积、全连接、pooling都是只考虑非意志线索； 注意力机制则考虑意志线索：意志线索（自主性提示）称为查询（query）。给定任何查询，注意力机制通过注意力汇聚（attention pooling） 将选择引导至感官输入（sensory inputs，例如中间特征表示）。 在注意力机制中，这些感官输入被称为值（value）。 更通俗的解释，每个值都与一个键（key）配对， 这可以想象为感官输.
DL之self-attention：self-attention自注意力机制的简介(背景、特点、改进对比、传统对比、关系、应用，适合长距离捕获分析)、计算过程(八大步骤)、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-27 6171
​ DL之self-attention：self-attention自注意力机制的简介(背景、特点、改进对比、传统对比、关系、应用，适合长距离捕获分析)、计算过程(八大步骤)、案例应用之详细攻略 目录 Self-Attention算法的概述 Self-Attention算法的计算过程 Self-Attention算法的概述 Self-Attention算法的简介(背景、特点、改进对比、传统对比、关系、应用) Self Attention在同一个英语句子内单词间产生的联系如下所示 可以看
学习笔记|NLP中的注意力机制汇总
我只要燃烧不在乎陨落
06-15 1888
说在前面的话： 前段时间因为组会要对注意力机制做一个报告，我在收集资料的时候发现，网上很多所谓的attention总结无非最后都陷入了对transformer模型和自注意力机制的解释中，其实这并没有对所有的注意力机制类型进行一个详细的总结，这对一个初学者来说很容易陷入一个思维定势中。因此我决定深入剖析各个经典文章中所使用的Attention机制，并对他们进行一个分类总结。可以说这篇文章内容是全网最全的，应该找不到比这个更全的总结了，除了参考一些综述和网上资料，我还根据自己的理解整合并加入了一些新的内容。.
攻克 Transformer && 评分函数（加性注意力、缩放点积注意力）
Flying Bulldog 的博客
06-05 5291
上篇博客链接直达：攻克 Transformer & 注意力机制的查询、键和值 & 有无参数的Nadaraya-Watson核回归上一篇博客，我们使⽤⾼斯核来对查询和键之间的关系建模。我们可以将高斯核指数部分视为注意⼒评分函数（attention scoring function），简称评分函数（scoring function），然后把这个函数的输出结果输⼊到 softmax 函数中进⾏运算。通过上述步骤，我们将得到与键对应的值的概率分布（即注意力权重）。 最后，注意⼒汇聚的输出就是基于这些注意⼒权重的值的
注意力机制
qq_36936443的博客
04-12 1万+
1.直观认知注意力机制 假设你想在淘宝上买一件价格便宜、黑白相间的格子衬衫，而淘宝每件衣服都有不同的用料、尺寸、类型、价格、颜色、款式、风格等等，这时你就会根据你的需求更关注如款式：衬衫、颜色：黑白相间、价格：便宜等有效信息，更不关注其他的信息，最终挑选出你心仪的衣服下单。 在这里，你通过给定的查询query（价格便宜、黑白相间、格子衬衫），将query与相关的键key（不同衣服的参数说明）和对应的值value（衣服链接）进行匹配，得出了最匹配的值（你最终下单的衣服链接）...
深度探索：机器学习中的缩放点积注意力（Scaled Dot-Product Attention）原理及应用
qq_51320133的博客
05-01 4731
缩放点积注意力机制作为现代深度学习模型的核心组件，其简洁而强大的设计极大地推进了自然语言处理、计算机视觉乃至推荐系统等多个领域的进步。它通过直接、高效地捕获序列数据中的长距离依赖，克服了传统序列模型的局限性，促进了如Transformer这样的革命性模型的诞生。 然而，尽管取得了显著成就，缩放点积注意力仍有优化空间。未来的研究方向可能包括： 提高效率与降低资源消耗：探索更为高效的注意力计算方法，减少计算和内存需求，特别是在处理大规模数据集和超长序列时。 增强位置信息编码：虽然已有工作通过相对位置编码等方
交互注意力机制包括Dot-Product Attention、Additive Attention、Multiplicative Attention的区别
06-01
交互注意力机制是一种在两个向量之间进行关注度计算的机制，常见的有Dot-Product Attention、Additive Attention和Multiplicative Attention等。它们的区别如下： 1. Dot-Product Attention：这种注意力机制是通过计算两个向量之间的点积来得到注意力权重的。具体地，设两个向量为 $a$ 和 $b$，则点积得分为 $score(a, b) = a^Tb$，然后通过对得分进行softmax归一化，得到注意力权重。Dot-Product Attention的优点是计算简单，速度快，但其缺点是可能存在数值稳定性问题。 2. Additive Attention：这种注意力机制是通过将两个向量拼接成一个新的向量，然后通过一个全连接神经网络来计算得分。具体地，将两个向量拼接成 $[a;b]$，然后通过线性变换和激活函数得到得分 $score(a, b) = v^Ttanh(W[a;b]+b)$，其中 $W$ 和 $b$ 是线性变换的参数，$v$ 是用来计算得分的向量。Additive Attention的优点是能够处理不同维度的向量，但其缺点是计算复杂度高。 3. Multiplicative Attention：这种注意力机制是通过对两个向量进行逐元素乘法，得到一个新的向量，然后通过一个全连接神经网络来计算得分。具体地，设两个向量为 $a$ 和 $b$，则逐元素乘法得到 $c = a \odot b$，然后通过线性变换和激活函数得到得分 $score(a, b) = v^Ttanh(Wc+b)$，其中 $W$ 和 $b$ 是线性变换的参数，$v$ 是用来计算得分的向量。Multiplicative Attention的优点是计算复杂度低，但其缺点是可能存在信息损失的问题。 需要注意的是，不同的注意力机制适用于不同的场景和任务，具体选择哪种机制取决于具体需求和数据特点。同时，也可以结合不同机制的优点，进行多机制融合，提高注意力机制的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值