Seq2Seq中Self-Attention 如何运作的

最新推荐文章于 2024-07-22 11:47:36 发布
最新推荐文章于 2024-07-22 11:47:36 发布
阅读量102 收藏
点赞数
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62933476/article/details/130272052
版权

Self-Attention的Input是一串Vector，这个Vector可能是整个Network中的Input，也可能是某个Hidden Layer的Output。

假设我们用一排向量a1,a2,a3,a4来表示这个Input，用b1,b2,b3,b4来表示Output。我们有一种机制，这个机制能够找出这一个Input中，哪一个向量和a1关联性最大，我们把这个关联记作α。

那么我们是如何找出这个关联性然后给他一个α呢？

方法有很多，此处列举一个比较常见的做法：Dot-product

假设计算a1和a2向量的关联性（绿色方框），分别给a1，a2乘上一个矩阵Wq和Wk，再把得到的结果进行点积得到α。

 我们已经计算出α，但是如何把他套用在attention中呢？

我们按照此逻辑把a1到a4的关联性分数都计算出来记为\alpha _{11}， \alpha _{12}，\alpha _{13}，\alpha _{14}。

 

 计算出关联性以后我们分别对它进行一下Soft-max，当然也可以使用其他函数，但是使用Soft-max效果最好。我们记为\alpha _{11}^{​{}'}...\alpha _{14}^{​{}'} 。

 我们已经知道了向量之间的关联性了。现在开始抽取这一个sequence的重点。我们把a1,...a4分别乘上矩阵Wv，把得到的矩阵和上面得到的attention score相乘，再得到的数值相加得到b1 。 b_{1}=\sum_{i}^{}\alpha _{1,i}^{​{}'}v^{i}

如果说a1和a2的关联性较强，那么他得到的attention score就会较高。所得到的b1的值就会接近v2

 

写完发现有一篇文章讲的很好，贴在这儿回头回头方便自己找：Seq2Seq中的Attention和self-attention_seqselfattention_我叫龙翔天翼的博客-CSDN博客

小酥的学习日记
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Seq2Seq中的Attention和self-attention
weixin_40901056的博客
03-08 3869
Seq2Seq中的Attention和self-attention 一、Seq2Seq Model 首先介绍Seq2Seq模型，进而引入Attention机制。Seq2Seq模型的经典应用是语言模型，类似于语言翻译的例子（英译汉），Seq2Seq的目的就是将英文句子（输入Sequence），转换为汉语句子（输出Sequence），这里的Sequence是由字（单词）的序列。 这种Seq2Seq通常...
Seq2Seq -- Attention -- Transformer
机器学习，大数据
03-23 2565
Seq2Seq – Attention – Transformer 文章目录Seq2Seq -- Attention -- Transformer1.前言2.Seq2Seq模型3.Attention模型3.1简介3.2模型架构3.3其他4.Transformer4.1为什么使用Transformer？4.2模型架构4.2.1 Self-Attention4.2.2 Multi-headed Att...
自注意力机制（Self-Attention）：从Seq2Seq模型到一般RNN模型
RuizhiHe
07-13 1740
1. 前言 本文讲解自注意力机制（Self-Attention）。 本人全部文章请参见：博客文章导航目录 本文归属于：NLP模型原理与应用系列 前文：注意力机制（Attention）：Seq2Seq模型的改进 2. 自注意力机制（Self-Attention） Seq2Seq模型一般有两个RNN网络，一个为Encoder，另一个为Decoder。Attention用于改进Seq2Seq模型，解决RNN遗忘问题。 Self-Attention也叫做Intra-Attention，与Attention非常类似。
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
IT菜鸟
09-13 1774
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
【四】self-attention
云淡风轻_的博客
07-15 447
是一个常见的神经网络架构 onehot encoding：没有语义的信息 wordembedding：有语义信息 什么是seq2seq pos tagging词性标注：输入和输出长度一样 sentiment analysis情感分析：整个序列只输出一个label translation翻译：输入一个序列，输出也是一个序列，而且机器要自己决定输出的长度——seq2seq FC引入self-attention 针对每个输入的向量都对应一个label的情况：（输入数目=输出数目）——seque
神经网络学习小记录77——深入浅出Self-Attention自注意力机制与Transformer模块
热门推荐
Bubbliiiing的学习小课堂
01-13 1万+
Self-Attention自注意力机制是Transformer模块的重要组成部分，是截至到现在（2024年1月6日）大大小小网络的标配，无论是LLM还是StableDiffusion，内部都有Self-Attention与Transformer，因此，一起来学学哈哈。
【典藏】详解 Self-Attention
绿色羽毛
04-07 6149
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于Transformer。 Transformer 模型使用了 Self-Attention机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 一切从 Self-Attention 开始 1.1 处理Sequence数据的模型： Transformer是一个Sequence to Sequence model，特别之处在于它大量用到了self-atten.
Transformer and Self-Attention(Pytorch实现)
aidanmo的博客
11-22 2884
文章目录1. Attention2. Self-Attention3. Multi-Head Attention4. Transformer4.1 Encoder4.2 Decoder5. Transformer6. 补充，masked_self_attentioncode by Tae Hwan Jung(Jeff Jung) @graykode, Derek Miller @dmmiller612 1. Attention Attention函数的本质可以描述为：将查询(query)和一组键值(key-
self-attention原理和改进方向
zhufenghao
11-26 7022
1. self-attention原理介绍 形象化解释：The Illustrated Transformer 哈佛代码介绍：The Annotated Transformer 论文解读：Attention Is All You Need - The Transformer 2. self-attention改进方向 先放资源，后面再解析 腾讯AI LAB github论文 发现一个每周论文的博客 3. self-attention在其他领域尝试 self-attention序列数据分析：attent
机器学习笔记（13）Transformer(二):self-attention与seq-seq中的attention不同
qq_37662375的博客
04-15 889
Transformer最近很火，相应的kaggle中很多比赛最近开始大量使用Transformer及其变体。Transformer之所以奏效，attention机制起了很大的作用，这次我们聊一聊attention机制 参考：https://zhuanlan.zhihu.com/p/46250529 https://zhuanlan.zhihu.com/p/47470866 https://blog.csdn.net/fan_fan_feng/article/de...
Pytorch-Tutorial_Seq2Seq_Attention
03-30
在PyTorch中，可以使用自注意力（Self-Attention）或加性注意力（Additive Attention）等实现方式。 四、自注意力 自注意力是一种让模型内部不同位置的元素相互“注意”的机制，它无需依赖编码器的上下文向量，而是...
seq2seq—pytorch实现
11-30
Seq2Seq（Sequence to Sequence）模型是深度学习领域中的一个重要概念，尤其在自然语言处理（NLP）任务中占据着核心地位。这个模型由Sutskever等人在2014年的论文《Sequence to Sequence Learning with Neural ...
pytorch实现seq2seq和transformer机器翻译
04-16
在本文中，我们将深入探讨如何使用PyTorch实现Seq2Seq和Transformer架构，这两种方法都是在机器翻译领域中广泛使用的深度学习技术。首先，我们来理解这两个概念。 **Seq2Seq（Sequence to Sequence）模型**： Seq2...
Transformer：Seq2Seq 模型 + 自注意力机制.zip
02-06
这个模型彻底改变了序列到序列（Seq2Seq）学习的方式，尤其在自然语言处理（NLP）任务中取得了显著的性能提升。在传统的RNN或LSTM序列模型中，信息传递依赖于序列的顺序，而Transformer通过引入自注意力（Self-...
大数据课程作业-基于Seq2Seq的故事文本生成python源码+项目说明文档.zip
12-28
我们力图复现一下论文(Seq2Seq，静态两步式生成)，并尝试加了一些模块(Self-Attention)，以期在本任务上达到较好效果。 【备注】 1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载使用体验！ 2.主要针对各个...
【深度学习】PyTorch框架(6)：GNN图神经网络理论和实践
MUKAMO的博客
07-19 965
本文深入探讨了神经网络在图结构数据处理中的应用，介绍了图的邻接矩阵和边列表表示方法，以及图卷积网络（GCN）和图注意力网络（GAT）的实现。实践表明，图信息对提升预测模型性能至关重要，GNNs在社交网络、生物信息学、交通优化和推荐系统等领域具有巨大潜力，未来在AI领域将扮演更重要角色。
神经网络之卷积神经网络
m0_53881899的博客
07-19 376
神经网络之卷积神经网络
基于深度学习的放射学图像分析
最新发布
weixin_42605076的博客
07-22 484
基于深度学习的放射学图像分析是利用深度学习模型来自动分析和解读医学影像（如X光片、CT、MRI等），辅助医生进行疾病诊断、治疗计划制定和预后评估。
多维时序 | Transformer+BiLSTM多变量时间序列预测（Python）
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-18 568
多维时序 | Transformer+BiLSTM多变量时间序列预测（Python）
seq2seq-attention 预测
07-27
- *1* [NLP自然语言处理之RNN--LSTM--GRU--seq2seq--attention--self attetion](https://blog.csdn.net/weixin_41097516/article/details/103174768)[target="_blank" data-report-click={"spm":"1018.2226.3001....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值