李宏毅深度学习 自注意力机制

最新推荐文章于 2024-08-15 20:42:08 发布
最新推荐文章于 2024-08-15 20:42:08 发布
阅读量495 收藏 3
点赞数 1
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wkywcd/article/details/119776791
版权
本文探讨了自注意力机制在解决序列输入输出问题中的应用，特别是在词性标注、语音处理等场景。自注意力允许并行计算，不同于CNN的局部连接和RNN的时间序列依赖。通过位置编码，自注意力能捕捉序列位置信息，广泛应用于NLP、语音和图像处理等领域。
摘要由CSDN通过智能技术生成

目录

一、 自注意力机制解决的问题

1、输入

在这里插入图片描述
输入是一个序列，并且长度会改变的例子：

  • 输入是一个句子
    可以的做法：1、设置一个列表，包括所有的词汇；2、给每个词汇一个向量
    在这里插入图片描述
  • 输入一段语音：
    在这里插入图片描述

2、输出

**第一种可能：**每个向量都有对应的label（输入输出长度相同）eg：词性标注
在这里插入图片描述
第二种可能：整个向量只有一个label
在这里插入图片描述
**第三种可能：**机器自己决定输出多少个Label

最低0.47元/天 解锁文章
wkywcd
关注
【笔记2-1】李宏毅深度强化学习笔记（一）Outline
cindy_1102的博客
02-24 1万+
李宏毅强化学习-1 IntroductionReinforcement learning:Examples:Properties of RL:RL ApproachPolicy-based approach -- learn an actorValue-based approach -- learn a criticActor-Critic Reinforcement learning: What...
【机器学习】李宏毅——自注意力机制(Self-attention)
FavoriteStar的博客
09-08 1903
【机器学习】李宏毅——自注意力机制(Self-attention)
详解注意力机制(Attention Mechanism)，自注意力(Self-Attention)，多头注意力(MultiHeadAttention)
最新发布
qq_51872445的博客
08-15 2002
一、注意力机制（Attention Mechanism） 注意力机制（Attention Mechanism）是深度学习领域的一个重要概念，最初在自然语言处理（NLP）中被引入，用于改进序列到序列（seq2seq）模型的性能，特别是在机器翻译任务中。这种机制允许模型在处理输入序列的不同部分时，能够“关注”或“聚焦”于其中更重要的部分，而不是平等地对待所有输入元素。 参考资料 书籍 Z. Li, A. Gan, et al., “动手学深度学习 第二版,” 电子工业出版社, 2021. 网络文
【李宏毅 | 深度学习】自注意力机制（Self-attention）
Luo_LA的博客
09-22 1051
但是在上图的例子中，一句话中的两个saw是不同词性的，但是通过相同的网络得到输出没有理由是不一样的，因为输入的向量完全一样。如果增加输入的复杂度，例如输入的是多个向量，或者每次输入的向量的个数是会改变的。例如，在文字处理中，如果把一句话中的每一个单词作为一个向量，那么一个输入就会有多个向量，又因为不同样本的句子长度不同，所以每次输入的向量的个数也是会改变的。首先 Self-attention 的输入是多个向量，这些向量可能是一整个神经网络的输入，也可能是某个隐藏层的输出，所以在这里用。
李宏毅《深度学习》- Self-attention 自注意力机制
热门推荐
0202zc 的博客
10-20 1万+
无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样： 将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量
【深度学习】04-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
星辰不问
08-23 1497
【深度学习】05-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5662
self-attention，transformer及变形
【学习笔记】李宏毅2021春机器学习课程第4.1节：自注意力机制（一）
Harryline的博客
07-18 372
文章目录1 问题引入：为什么需要自注意力机制1.1 更加复杂的输入1.2 更多可能的输出1.2.1 每一个向量都有一个对应的Label1.2.2 输入多个向量，只需要输出一个Label1.2.3 机器要自己决定应该输出多少个Label1.3 处理词性标注问题的困境2 自注意力机制（Self-Attention）3 Self-Attention的具体运作过程 1 问题引入：为什么需要自注意力机制 在探讨了CNN的架构以后，我们要探讨的另一个常见的Network架构，叫做Self-Attention，至于Sel
（笔记）李宏毅机器学习——自注意力，多头自注意力
weixin_40088262的博客
09-28 597
得到输入向量之间的相关度后，使用一个sofmax进行了归一化处理得到注意力权重α，此处不使用softmax也可以，可以尝试使用其他激活函数看看效果。v值和注意力权重α做乘法，求和得到b1，当与一个向量之间的α越大，得到的b1就越接近该向量的v值。使用多个Q值，不同的Q值负责不同方面的相关度，一个Q值是一个head。多个Q值，对应有多个K值、V值。首先是输入向量之间的相关度计算，视频中提到的方法如上，W是训练出来的矩阵。每个head的值由其对应的Q\K\V值产生，计算过程同self-att。
台大李宏毅一天搞懂深度学习公开课课件（ppt）上
07-27
此外，注意力机制也是现代深度学习中的重要概念，它允许模型在处理序列数据时更关注关键信息，提高模型的性能和效率。 【课程作业】 "HW0.pptx"和"HW1.pptx"很可能是课程的实践环节，让学生通过实际操作加深对理论...
【李宏毅机器学习】注意力机制
INGg__的博客
08-21 908
我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分给多少输出多少给一堆向量，输出一个label，比如说情感分析还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，翻译也是。
【李宏毅】自注意力机制self-attention
SofiaT的博客
04-23 854
自注意力机制网课笔记
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 1291
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
李宏毅2021春机器学习课程笔记——自注意力机制（Self-Attention）
黎木的博客
05-18 909
自注意力机制（Self-Attention） self-Attention
李宏毅老师2022机器学习课程笔记 03 自注意力机制(Self-Attention)
124974的博客
04-04 4396
03 自注意力机制(Self-Attention) 更加复杂形式的输入 向量序列形式的输入 在实际应用中，数据可能会有各种各样的形式，为了将数据作为输入提供给模型训练，可以考虑将其表示为向量序列的形式。 比如，在文字处理的场景中，可以将单词表示为向量，将句子看作单词的序列。 比如，在语音处理的场景中，可以将一个window大小（比如25ms）的一小段语音表示为一个向量，将完整的语音看作是小段语音的序列。（特别说明的是，根据经验每一小段语音之间是有重叠的，即窗口每次移动的时候，移动的大小是可以小于窗口大小的，
【第七周】李宏毅机器学习笔记05：自注意力机制
qq_30043925的博客
08-11 716
本周学习了自注意力机制，了解了Self-attention的组成结构和有关参数α的计算方法，并且运用了线性代数的方法手动推导了求解输出矩阵的矩阵乘法表示方式，将复杂的问题简单化，更加深入理解了Self-attention的具体机制以及运用方法，最后也将Self-attention与CNN和RNN网络做对比，学习不同方法的优缺点。在师兄的建议下了解了空洞卷积和转置卷积的概念，对部分内容进行了笔算，加深了我对卷积运算的印象。本周进行了理论内容的学习，了解了自注意力机制。
[DL笔记] Transformer介绍 Attention机制 李宏毅深度学习
VIPsucks的博客
12-19 1494
Transformer 李宏毅深度学习 tags: Deep Learning, Transformer, , seq2seq, Attention 笔记内容参考于：https://youtu.be/ugWDIIOHtPA 原文link（我最初的笔记，图较多，建议阅读，要fq ^.^）： https://hackmd.io/@abliu/BkXmzDBmr RNN： 是最经典的处理Sequen...
李宏毅机器学习学习笔记——自注意力机制
p_memory的博客
04-30 1019
self-attention应用场景类型一：输出label与输入向量个数相同（Sequence Labeling）self-attention原理计算输出向量 应用场景 self-attention也是一个常见的neural network框架，用来解决输入是一组向量并且向量的个数是不确定的问题。例如： 文本处理 语音识别 Drug discovery self-attention的输出有以下3种情况： 每个向量都有一个标签，即输出跟输入数目一样。具体应用：词性标注、推荐系统。 整个sequence只
李宏毅深度学习教程：基础与趋势
Lecture IV，"Next Wave"则可能探讨深度学习的最新进展和未来趋势，可能涉及生成对抗网络（GANs）、强化学习、自注意力机制、Transformer模型，以及深度学习在新领域的应用，如医疗诊断、自然语言理解等。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值