注意力机制

最新推荐文章于 2024-06-09 19:08:44 发布
最新推荐文章于 2024-06-09 19:08:44 发布
阅读量245 收藏
点赞数
文章标签： bert 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41898761/article/details/125235770
版权
注意力机制是人工智能和自然语言处理中的关键概念。它通过QKV计算捕捉输入序列中的重要信息。Q与K点乘衡量相似度，经过softmax归一化后与V相乘得到注意力值，防止梯度消失问题。BERT等模型利用这一机制提升表现。
摘要由CSDN通过智能技术生成

注意力机制的本质

婴儿在干嘛？，根据这句话判断注意点
在这里插入图片描述
如何实现：
在这里插入图片描述
在这里插入图片描述
Q与K进行点乘，点乘的实质是—一个向量在另一个向量上投影的长度-----标量，放映两个向量上的相似度，越大越相似

整体的流程

在这里插入图片描述

  1. Q先与K进行点乘，得到S1，S2…
  2. 在进行softmax归一化操作，得到相似度
  3. 在与V相乘后相加得到注意力值

由词向量获取QKV

W Q W^{Q} WQ

最低0.47元/天 解锁文章
世界划水锦标赛冠军
关注
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
YOLOv8项目贡献者
04-27 18万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
matlab注意力机制是什么意思
04-19
MATLAB 中的注意力机制实现 MATLAB 中的注意力机制可以借助于深度学习工具箱中的函数，例如 softmax 函数和 dot 函数，这些函数可以帮助实现注意力机制的计算。 首先，softmax 函数用于计算一个向量中每个元素在...
自然语言处理（十二）：注意力机制
GeniusAng的博客
01-07 1248
自然语言处理（十二）：注意力机制
self-attention为什么要除以根号d_k
suibianshen2012的专栏
12-25 1万+
一、因为softmax的输入很大时，其梯度会变的很小，趋近于0； 二、除以根号Dk的目的就是使得，QK/Dk满足方差稳定到1，使得softmax的梯度不至于太小
transformer中的缩放点积注意力为什么要除以根号d
weixin_45610907的博客
12-04 4350
前段时间在看transformer的时候，看到他的self-attention机制的公式里需要除以维度的算术平方根，想了一会没有想明白。回去看原论文。作者认为，当d较大时，点积的幅度也就变大，容易进入softmax函数的梯度消失区域。什么叫点积的幅度变大？这里作者指的应该是方差会变大。点积之后，数据的方差会改变，不等同于原分布。这就需要我们进行一个操作使方差等同于原分布。假设原分布是标准正态分布，那为什么需要除以根号d来归一化到标准正态分布呢？我尝试自己推导一下公式。
深度学习之注意力机制attention
m0_37327467的博客
04-15 7118
注意力机制是深度学习在近几年最重要的一个创新。本文将介绍简要的介绍一下注意力机制的原理。 Sequence to Sequence model 在将注意力机制之前首先要介绍一下S2S model，在rnn中，当输入为多个序列输出也为多个序列且输入输出长度不相等时我们需要使用到S2S model,例如在机器翻译中，我们输入的很有可能是一个长句子，翻译成其他语言时它的长度发生了改变，这样的话我们便...
注意力机制-在resnet18中嵌入视觉注意力机制-优质项目.zip
02-24
在深度学习领域，尤其是计算机视觉任务中，注意力机制（Attention Mechanism）已经成为了一种非常重要的技术，它模拟了人类视觉系统处理信息的方式，使模型能够更有效地聚焦于图像中的关键部分，提高识别精度。...
在ResNet18中嵌入视觉注意力机制.zip
02-06
通过在ResNet18中嵌入自注意力机制，模型不仅能够利用残差学习来处理深层网络的优化问题，还能通过自注意力机制关注到图像中的关键部分，提高模型的识别准确性和解释性。这种融合了卷积和自注意力的架构在物体检测、...
基于可变形卷积和注意力机制的滚动轴承故障诊断
02-06
基于可变形卷积和注意力机制的滚动轴承故障诊断 基于可变形卷积和注意力机制的滚动轴承故障诊断 轴承是旋转机械中的重要部件,轴承的故障可能导致严重的人员伤亡和经济损失,因此对轴承的故障诊断以及保障轴承的平稳...
self-attention中根号d的由来
weixin_41168869的博客
06-12 516
是相互独立的，则它们的乘积的期望等于各自的期望的乘积。这个性质在概率论和统计学中经常被用到。是独立的随机变量，因此它们的乘积的期望等于各自的期望的乘积。这是因为两个随机变量的乘积的期望等于各自的期望的乘积【注1】。个随机变量的线性组合。因此，根据线性组合的性质，个随机变量是独立的，
Attention
geweicsdn的博客
07-01 142
再比如，图书馆（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。将Source中的构成元素想象成是由一系列的。
Transformer理解-八股文
weixin_42042056的博客
02-06 1864
使用不同的权重矩阵计算是为了在不同的空间上进行投影，增强模型表达能力，提高score矩阵的泛化性。由于padding都是0， 在计算时e^0 = 1使用softmax会导致padding的值也会占全局一定的概率，因此，使用mask的目的就是让这部分的值无穷小，让他在softmax之后基本为0从而保证不影响attention socre的分布。BN 一般在MLP和CNN上有较好的表现，在RNN模型中表现较差。为什么使用LN而非BN，LN在transformer的位置时哪里，BN的使用场景与LN的区别。
Attention为什么要除以根号d
最新发布
qq_50988647的博客
06-09 1613
我们知道，attention结构中注意力得分的计算公式为，其中分别表示及其维度，那么为什么在计算score的时候要除以呢？这个问题比较考验各位同学的数学功底，我将从自己理解的角度进行分析，欢迎大家评论指正。
Transformer详解(3-1)-attention为什么要除以根号d
weixin_40566713的博客
06-03 371
attention的计算公式，为什么要除以根号d?
注意力机制在softmax时除以一个根号d的作用
samuelzhoudev的博客
09-22 3406
from math import exp from matplotlib import pyplot as plt import numpy as np f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2)) x = np.linspace(0, 100, 100) y_3 = [f(x_i) for x_i in x] plt.plot(x, y_3) plt.show() 得到的图如下所示： 原文链接: https://www..
如何理解注意力机制
weixin_42756682的博客
04-24 4975
如何理解注意力机制 b站视频讲解-5min 深度学习其实就是想学习一个模型可以用于实现 output=f（input）output=f（input）output=f（input） 注意力机制的目的就是对所有的输入向量执行简单的线性加权，所以需要训练模型学习最优的权重值 α， 但是，实际情况中我们不能简单的学习权重，因为输入的向量的长度是可变的，所以需要求解的权重参数 α 的数目也因此是可变的。 此外，对于权重的值，有一个限制，需要进行归一化处理。（也就是α的和应该等于1）。 因此，为了得到权重，注意
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
NLP中的注意力机制解析
"NLP中的注意力机制.pptx 深入探讨了自然语言处理(NLP)中的注意力机制，这是深度学习在处理序列到序列任务时的一个关键概念。该资源指出，注意力机制允许模型根据输入序列的不同部分对输出序列的重要性进行加权，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值