Attention 普通注意力机制详解 (二)

最新推荐文章于 2023-07-23 11:50:16 发布
最新推荐文章于 2023-07-23 11:50:16 发布
阅读量676 收藏 1
点赞数
分类专栏： ml 总结 实战项目讲解 文章标签： 深度学习 注意力机制 seq2seq 翻译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49139876/article/details/121037623
版权
实战项目讲解 同时被 3 个专栏收录
35 篇文章 1 订阅
订阅专栏
总结
20 篇文章 0 订阅
订阅专栏
ml
3 篇文章 1 订阅
订阅专栏

注意力入门
请添加图片描述

普通注意力机制的了深入理解

在这里插入图片描述
因为GRU每次输入都是一个词一个词的输入,那么普通的Seq2seq框架 就需要每个词算一遍 注意力权重并对解码器输出进行bmm计算,得到加权的解码器词向量输出 这样解码器的GRU每次解码的时候不是仅仅只考虑当前的一个词,而是考虑前后3个词甚至更多个词才会将这个词翻译
前向传播的结构就是这样,那么反向传播就是整个学习过程的精华,

解码器GRU

通过logsoftmax计算概率损失, 这样会知道每个词翻译错误的误差 然后向下传播
知道每个词翻译的误差后 , GRU的权重矩阵分两部分学习

1.单一时间步学习

这里想说的概念是在不考虑时间步循环的gru权重矩阵中 , 它每次翻译的机制要学习的不是 输入一个词 反应对应的词 ,这是查字典. 而应该是输入一个词 这个词是注意力机制加权后的词, 所以它一个词可以代表多个词, 那么就需要学习 多个词的情况下 这个词应该被翻译成什么 我们把这种抽象叫做语义
不好理解就举个例子: ‘xxx早上硬不起来’ 那么如果没有前后文的情况下,这个硬不起来很难消除歧义, 可以理解为困得起不来,也可以理解为阳痿… 那么注意力机制就解决了这种情况, 它将 "昨天晚上xxx3点睡的’’ 这个高纬语义添加到这个词中了, 那么翻译的时候就不会翻译错了…

2.循环时间步学习

在这里插入图片描述

attention 机制

解码器GRU的反向传播如何学习的理解说完了, 那么非常抽象的已经讲完了 到这里就异常简单了
attention机制在反向传播的过程中学习的是高阶语义
也就是
第一个循环: 0.8x我 +0.01x是你 +0.19爹
每一个词前的权重应该如何分配的
embedding作用是将输入变成词编码,本质不可能学到语义,不明白的可以复习一下word2vec的原理

但是我们知道, 注意力计算的过程是没有可以学习的参数的, 仅仅是对算法的抽象 那么这里就不用浪费嘴舌了,不懂的可以看上图
这里…唯一值得说的就是拼接过后改变形状的全连接层 这里它也许会学到如何变幻形状会拟合的更好,但是本身并没有更多抽象的功能给线性层,所以就不说了

bmm运算 - 编码器GRU

因为注意力机制要学习权重如何更好的分配,但是他自己偏偏没有需要学习的权重, 那么这个重任其实还是分配给了解码器GRU
编码器作用
1.学习如何给输入值编码
我们可以简单的理解编码在做的事情就是加密数据,从明文到暗文
而解码器就是解释器 ,将加密的数据解密
2.抽取高纬语义
这里简单说就是通过循环(记忆力机制) 编码器的输出会带有记忆力,也就是高纬语义特征

反向传播学啥
1.更好的抽取高纬语义
因为注意力机制本身要解决的是碎片化的语义和梯度爆炸等问题, 那么编码器要做的第一要义是给 注意力层更好的输入,让他能更好的得到效果更好的bmm计算结果, 这样不仅每次学习的碎片化高阶语义会被注意力整合成完整的高阶语义 还会被记忆力机制加权
2.更好的编码
这个说更好的编码其实有点扯,但是我们可以逆向看待问题
如果没有注意力机制,这编码器在做啥?
简单的高阶语义抽取 其实就是更好的编码 没有注意力机制的话学习偏向给解码器更好的结果的方向
有注意力机制的话 学习结果偏向更好的bmm运输结果
这两者异曲同工,但又不完全相同

整个框架只能说精妙绝伦,就好像第一次看到word2vec中的霍夫曼softmax 的作用的时候 其中的魅力不言而喻

帅气多汁你天哥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
注意力机制详解(小白入门)
TigerrrRose的博客
01-23 1万+
文章目录产生原因注意力机制类型最大池化与平均池化的注意力机制注意力池化层次池化- 引入时序，更新V循环池化 引入时序更新Q多头注意力池化基于多头注意力的变换器注意力机制的研究进展(待更）注意力机制的好处 产生原因 受到人类注意力机制的启发。人们在进行观察图像的时候，其实并不是一次就把整幅图像的每个位置像素都看过，大多是根据需求将注意力集中到图像的特定部分。而且人类会根据之前观察的图像学习到未来要观察图像注意力应该集中的位置。 注意力机制类型 注意力机制其实也是一种池化，是一种对输入分配偏好的通用池化方法
零基础学nlp【2】 注意力机制(Neural machine translation by jointly learning to align and translate)
rory0114的博客
03-08 1070
零基础学nlp【2】 注意力机制 论文：.Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014 论文快读，论文理解
注意力机制
叶曦禾的博客
04-24 584
Attention机制的引入 通用近似定理：在人工神经网络的数学理论中， 通用近似定理（或称万能近似定理）指出人工神经网路近似任意函数的能力[1]。 通常此定理所指的神经网路为前馈神经网路，并且被近似的目标函数通常为输入输出都在欧几里得空间的连续函数。但亦有研究将此定理扩展至其他类型的神经网路，如卷积神经网路[2][3]、放射状基底函数网路[4]、或其他特殊神经网路[5]。 此定理意味着神经网路可以用来近似任意的复杂函数，并且可以达到任意近似精准度。但它并没有告诉我们如何选择神经网络参数（权重、神经元数量
如何理解注意力机制
weixin_42756682的博客
04-24 4899
如何理解注意力机制 b站视频讲解-5min 深度学习其实就是想学习一个模型可以用于实现 output=f（input）output=f（input）output=f（input） 注意力机制的目的就是对所有的输入向量执行简单的线性加权，所以需要训练模型学习最优的权重值 α， 但是，实际情况中我们不能简单的学习权重，因为输入的向量的长度是可变的，所以需要求解的权重参数 α 的数目也因此是可变的。 此外，对于权重的值，有一个限制，需要进行归一化处理。（也就是α的和应该等于1）。 因此，为了得到权重，注意
numpy实现multi-attention层的前向传播和反向传播
邹九的个人博客
07-23 401
transformer当前主要的结构是attention层，最开始的时候，transformer在NLP内使用的结构，而图像vision则是多使用CNN网络，convolution用的比较多，而且主要是使用anchor框来逐像素点进行检测和分类，虽然当前的图像vision也有anchor-free的网络，但总体来看的话，还是anchor框的网络结构会更好些，transformer应用在图像vision，是从vision-transformer开始的。
通俗解读NLP中几种常见的注意力机制
Focus on AI
03-11 8988
注意力机制在NLP领域中有广泛的应用，诸如机器翻译、智能对话、篇章问答等。在模型设计中使用注意力机制，可以显著提升模型的性能。然而，对于初识注意力机制的朋友来说，可能会有这样的疑问：自然语言处理中说的注意力机制到底是啥？它与我们大脑中的注意力有何联系？它是如何实现的？面对诸多疑问，本文将用通俗的语言来解开这些困惑。本文首先简单介绍一下认知神经学中的注意力。接着，详细解说NLP领域常见的三种注意力机制：Bahdanau注意力、Luong注意力和自注意力（self-attention）。最后，对几种注意力机制进
Attention(注意力机制代码)
07-16
注意力机制(Attention Mechanism)是深度学习领域中的一个重要概念，特别是在自然语言处理(NLP)任务中，它允许模型在处理序列数据时，如句子或音频片段时，关注到输入序列中最有信息的部分，而非同等对待所有元素。...
nlp中的Attention注意力机制+Transformer详解
01-27
但为什么还要引入注意力机制呢？计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让...
Attention 注意力机制讲解思维导图
01-08
Attention 注意力机制讲解思维导图
注意力机制的序列标注-attention
02-06
在自然语言处理（NLP）领域，注意力机制（Attention Mechanism）已经成为深度学习模型的核心组成部分，尤其是在序列标注任务中。序列标注是指对输入序列中的每个元素分配一个预定义的标签，如命名实体识别、词性标注...
注意力机制的详细理解
qq_36717487的博客
08-03 3681
对于矩阵A(m×n),B(n×m)和C(m×n), 这里A(m×n)表示A是m行乘n列的矩阵。一个for循环是O(n),这里是三个for循环，所以为O(n×m×n)。（ps：个人感觉还是看代码比较好理解，后面三个矩阵乘法时，就会更加体会到）读者也许想不到，制约 Attention 性能的关键因素，其实是定义里边的 Softmax！如果A×B，那么复杂度为O(n×m×n),即O(n^2×m)。对于矩阵A(n×m),B(m×n), 这里A(n×m)表示A是n行乘m列的矩阵。........
Transformer、多头注意力机制学习笔记：Attention is All You Need.
zcsdn1996的博客
10-22 1万+
文章目录 相关参考连接： https://blog.csdn.net/hpulfc/article/details/80448570 https://blog.csdn.net/weixin_42398658/article/details/90804173 https://blog.csdn.net/jesseyule/article/details/101633159 论文讲解： https://www.jianshu.com/p/25fc600de9fb https:..
attention 理解 根据pytorch教程seq2seq源码
Jason__Liang的博客
08-20 5538
https://blog.csdn.net/wuzqchom/article/details/75792501 http://baijiahao.baidu.com/s?id=1587926245504773589&wfr=spider&for=pc pytorch源码 这是李宏毅老师的ppt。右侧对应pytorch seq2seq源码。 我们的问题是，左边的数学符号，右侧...
torch.bmm()函数解读
qq_40178291的博客
09-02 16万+
函数作用 计算两个tensor的矩阵乘法，torch.bmm(a,b),tensor a 的size为(b,h,w),tensor b的size为(b,w,h),注意两个tensor的维度必须为3. 代码示例 >>> c=torch.randn((2,5)) >>> print(c) tensor([[ 1.0559, -0.3533, 0.5194, 0....
注意力机制的基本思想和实现原理（很详细）
热门推荐
这里是标题
05-25 20万+
作者：张俊林链接：https://www.zhihu.com/question/68482809/answer/264632289来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术...
激励反向传播的自上而下注意力神经模型
qq_43202953的博客
06-04 2211
激励反向传播的自上而下注意力神经模型 （IJCV2018） Top-Down Neural Attention by Excitation Backprop摘要引言相关工作方法基于概率WTA的自上而下的神经注意力激励反向传播 Top-Down Neural Attention by Excitation Backprop) 摘要 论文目标是建立一个卷积神经网络(CNN)分类器的自上而下的注意力模型，用于生成特定任务的注意力图。受自上而下的人类视觉注意力模型的启发，我们提出了一种新的反向传播方案，称为激励反向
自然语言处理中的Attention Model：是什么及为什么
zdy0_2004的专栏
01-21 973
转自 张俊林        http://blog.csdn.net/malefactor/article/details/50550211 要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很多场景被证明有效。听起来AM很高大上，其实它的基本思
常见的两种注意力机制
人工智能
03-25 2万+
为什么需要注意力机制 seq2seq模型已经在机器翻译、自然语言处理领域取得了很大的进步，基于贝叶斯条件概率公式，seq2seq由一个编码器和一个解码器构成，编码器将源序列A编码成一个固定长度的特征向量，这个向量作为输入被传送到解码器得到目标序列B。 seq2seq虽然相比传统的n-gram统计模型更具非线性刻画能力，但其也有自身的缺点。主要缺点主要有两个：第一是长程记忆能力有
GAM注意力机制详解
最新发布
05-08
GAM（Global Attention Mechanism）注意力机制是一种基于注意力机制的神经网络模型，它可以用来处理序列数据和图像数据。GAM注意力机制的主要思想是，在处理序列数据时，将不同位置的信息赋予不同的权重，以便网络更好地关注重要的信息；在处理图像数据时，通过对图像各个位置进行加权，可以更好地捕捉图像中重要的部分。 具体来说，GAM注意力机制可以分为两个部分：全局特征和局部特征。全局特征是指输入序列或图像中的整体信息，而局部特征则是指输入序列或图像中的一部分信息。在处理序列数据时，GAM注意力机制可以通过计算每个时间步的权重来关注不同时间步的信息；在处理图像数据时，可以通过计算每个像素点的权重来关注不同位置的信息。 总之，GAM注意力机制可以帮助神经网络更好地理解输入数据中不同部分之间的关系，从而提高模型的性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值