注意力机制[矩阵]

最新推荐文章于 2023-11-19 16:48:09 发布
最新推荐文章于 2023-11-19 16:48:09 发布
阅读量1.7k 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： 矩阵 线性代数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46312382/article/details/131568257
版权

在这里插入图片描述每一个输入的向量( Embedding后的向量)，均有q,k,v,三个东西。其中q由下图所生成
在这里插入图片描述I矩阵有a1,a2,a3,a4组成，Wq为权重矩阵，将I与Wq相乘求得Q(q1,q2,q3,q4)。K和V与I同理均可求得。
在这里插入图片描述
将求得出来的K，转置为竖向量与Q相乘，就可以得出α11，α12…,其中表示的意思就是Query(查询)与线索的重合程度。
在这里插入图片描述上图中A’为a11,a12,a13,a14…经过softmax后的结果。将A‘的第一列，也就是取q1和其他的k1,k2,k3,k4相乘的值，再经过softmax转换后，与vlue值相乘，再相加就得出b1。其中q1和其余的Key，哪一个重合度高，则其在b1中占比也高。
在这里插入图片描述

其中只有Wq,Wk，Wv需要训练。

在这里插入图片描述多头注意力机制，每一个向量可能需要多个head，我们需要不同的q来应对不同种类的相关性。其中q(i,1)与q(i,2)是与两个不同的矩阵，相乘得出的。将 q(i,1)与对应的K(i,1)和K(j,1)相乘，再与V(i,1)和V(j,1)分别相乘，得出b(i,1)和b(i,2),再通过以下转换，输出。
在这里插入图片描述语音讯号非常长，计算量比较大，所以这时候引入truncated self-attention，告诉机器不用看整句话只看一部分，每部分的大小为人为设定的。在这里插入图片描述self-attention在图片上的应用，将以下图片看作一个5103的大小，其中3代表RGB通道为3。将每一个像素看作一个向量。
在这里插入图片描述

the animal
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）
01-06
深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）一、机器翻译1、机器翻译概念2、数据的处理3、机器翻译组成模块（1）Encoder-Decoder框架（编码器-解码器）（2）Sequence to Sequence模型（3）集束搜索（Beam Search）（ⅰ）简单贪心搜索（greedy search）（ⅱ）维特比算法（ⅲ）维特比算法二、注意力机制框架和Seq2seq模型1、注意力机制的引入2、注意力机制框架3、两个常用的注意力层（1）点积注意力（The dot product ）（2）多层感知机注意力（Multilayer Perceptron Atte
结合注意力机制的核相关滤波目标跟踪
02-07
针对目标跟踪中的旋转、快速运动、遮挡等问题。提出了结合注意力机制的核相关滤波跟踪方法。该方法利用卷积神经网络提取卷积特征；利用两个样本的相似度矩阵计算注意力权值，并结合注意力权值和核相关滤波器；使用两个分类器分别检测目标和背景，并依据两个分类器的响应值实现模型的自适应更新。选取公开数据集上具有复杂场景的视频序列进行测试，并与多种跟踪算法在跟踪精确度和成功率上进行定量分析，该算法与原核相关滤波算法相比，精确度和成功率分别提高了１８．９％、５８．７％。实验结果表明，添加了注意力机制和自适应更新的核相关滤波，较好的解决了遮挡、旋转等问题，相比其他算法具有更好的鲁棒性和适应性。
自注意力机制(Self-attention)
chenzhiwen1998的博客
04-17 8707
自注意力机制(Self-attention) 背景 最近，学了好多东西，今天看了一下李飞飞老师讲解的自注意力机制，因此在这记录一下，以供日后复习，同时自己学习消化知识也好。 综述 一般来说，模型的输入输出有三种： N个输入，经过模型计算后，输出N个结果，也就是对输入向量进行计算，从而得到每个向量对应的输出值。 N个输入，送入模型进行计算，最终得到一个结果。这就是平时常见的比如，文本分类、情感分析等。 任意个输入，输出任意个输出。这种在生活中也较为常见，比如机器翻译，对于一句
【深度学习实验】注意力机制（一）：注意力权重矩阵可视化（矩阵热图heatmap）
CSDN2023博客之星Top22 人工智能领域赛道Top2 大三赛道Top2 码龄2-3年赛道Top3
11-19 5300
本文介绍了注意力权重矩阵的可视化：矩阵热图heatmap的绘制
深度矩阵分解模型 与 带注意力的深度矩阵分解模型
02-06
深度矩阵分解模型 与 带注意力的深度矩阵分解模型 深度矩阵分解模型 与 带注意力的深度矩阵分解模型
解构自注意力
未名方略
01-13 2224
向量自相关
注意力机制作用被高估了？苹果等机构新研究：把注意力矩阵替换成常数矩阵后，性能差异不大...
量子位
11-19 136
萧箫 发自 凹非寺量子位 | 公众号 QbitAI要说Transformer的核心亮点，当然是注意力机制了。但现在，一篇新研究却突然提出了带点火药味的观点：注意力机制对于预训练Transformer有多重要，这事儿得打个问号。研究人员来自希伯来大学、艾伦人工智能研究所、苹果和华盛顿大学，他们提出了一种新的方法，用来衡量注意力机制在预训练Transformer模型中的重要性。结果表明，即使去掉注意力...
透彻理解大模型框架：Transformer模型原理详解与机器翻译
zql1009的博客
05-15 5365
已知神经网络权重：W_q, W_k, W_v。
attention各种形式总结
热门推荐
向着星辰大海
06-23 6万+
hard attention 记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号 stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribution)， 对于任意的 t , sti,i=1,2,...,Lsti,i=1,2,...,Ls_{t...
注意力机制、bmm运算
あずにゃん梓喵的博客
07-28 6432
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 1.5 注意力机制 学习目标: 了解什么是注意力计算规则以及常见的计算规则. 了解什么是注意力机制及其作用. 掌握注意力机制的实现步骤. 什么是注意力: 我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们...
基于区域注意力机制的遥感图像检索
01-26
遥感图像存在大量语义对象,相同的语义对象视觉差异较大,针对卷积神经网络(CNN)提取的全局特征不能准确描述图像内容的问题,提出了一种使用区域注意力机制的遥感图像检索方法。首先去除CNN的全连接层,将高层特征作为区域注意力网络的输入;然后在遥感图像数据集上分别训练CNN和区域注意力网络,提取具有区域关注度的图像特征;最后构建了一种多距离相似性度量矩阵并采用扩展查询以提高检索性能。实验结果表明,相比基于全局特征的遥感图像检索方法,本方法能有效抑制遥感图像背景和不相关的图像区域,在两大遥感实验数据集上的检索性能更好。
在Re-Net-All-Transformer的基础上添加注意力矩阵.zip
02-06
自注意力机制
YOLOV5 改进（增加注意力SE模块）：大型飞机图像目标检测数据集
03-17
【项目对YOLOV5代码进行改进，增添了注意力机制SE模块，更多的yolov5改进，参考：https://blog.csdn.net/qq_44886601/category_12605353.html】 数据集介绍：单类别的飞机检测数据集 数据分为1类：airplane ...
鲸鱼算法分别优化cart和加了注意力的GRU.zip
05-07
鲸鱼算法分别优化cart和加了注意力的GRU.zip plt.show() # 可视化 plot_performance(history=history) # 验证模型 y_pred = model.predict(test_x) # 预测类别,返回的是概率 y_pred = y_pred.argmax(axis=1) # ...
YOLOV5 改进（增加注意力SE模块）：大型行人图像目标检测数据集
最新发布
03-17
【项目对YOLOV5代码进行改进，增添了注意力机制SE模块，更多的yolov5改进，参考：https://blog.csdn.net/qq_44886601/article/details/136780820】 数据集介绍：单类别的行人检测数据集 数据分为1类：person ...
LSTM-Attention和LSTM分类预测，注意力机制Attention-LSTM分类预测(Matlab完整源码和数据）
09-06
LSTM-Attention和LSTM分类预测，注意力机制Attention-LSTM分类预测(Matlab完整源码和数据） LSTM-Attention和LSTM分类预测，注意力机制Attention-LSTM分类预测(Matlab完整源码和数据） 1.LSTM分类预测; 2.Attention-...
基于注意力机制attention结合长短期记忆网络LSTM分类预测，LSTM-Attention分类预测 多特征输入单输出的
09-02
基于注意力机制attention结合长短期记忆网络LSTM分类预测，LSTM-Attention分类预测。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为matlab，程序可出分类效果图，...
基于注意力机制attention结合门控循环单元GRU分类预测，GRU-Attention分类预测 多特征输入单输出的二分类
09-02
基于注意力机制attention结合门控循环单元GRU分类预测，GRU-Attention分类预测。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为matlab，程序可出分类效果图，迭代...
基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)分类预测，matlab代码，202
09-02
基于卷积神经网络-双向长短期记忆网络结合注意力机制(CNN-BILSTM-Attention)分类预测，matlab代码，2020版本及以上。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为...
如何对矩阵使用注意力机制
02-17
注意力机制是一种用于加权计算的方法，可以用于对矩阵进行加权处理。下面是使用注意力机制对矩阵进行加权的示例： ```python import torch import torch.nn.functional as F # 定义注意力机制函数 def attention(matrix): # 计算注意力权重 attention_weights = F.softmax(matrix, dim=1) # 对矩阵进行加权 weighted_matrix = torch.mul(matrix, attention_weights) # 返回加权后的矩阵 return weighted_matrix # 创建一个示例矩阵 matrix = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]], dtype=torch.float32) # 使用注意力机制对矩阵进行加权 weighted_matrix = attention(matrix) # 打印加权后的矩阵 print(weighted_matrix) ``` 在上述示例中，我们首先定义了一个注意力机制函数`attention()`，该函数接受一个矩阵作为输入。然后，我们使用PyTorch的softmax函数计算注意力权重，将其应用于输入矩阵，并返回加权后的矩阵。最后，我们打印出加权后的矩阵。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值