Self-attention自注意力机制——李宏毅机器学习笔记

self-attention想要解决的问题

复杂的输入

在这里插入图片描述
每次输入的length不同时,即Vector Set大小不同,该如何处理?
one-hot encoding,缺点:所有的词汇之间没有语义资讯。
word embedding,会给每一个词汇一个向量,一个句子则是一排长度不一
的向量,具有语义资讯。
在这里插入图片描述
1min便有6000个frame
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

输出是什么?

(1)Each vector has a label
在这里插入图片描述
(2)The whole sequence has a label
在这里插入图片描述
(3)Model decides the number of labels itself
在这里插入图片描述

Sequence Labeling

在这里插入图片描述
在这里插入图片描述
使用fc缺点:假设是词性标记,则无法正确识别。
在这里插入图片描述
It is possible to consider the context?
在这里插入图片描述
a window covers the whole sequence?
sequence长度有长有短,首先我们需要统计训练资料,查看一下最长的sequence有多长,然后开一个window(大于最长的sequence),这就会导致fc所需参数多,运算量大,容易overfitting。
所以使用self-attention:
知名paper:Attention is all you need.
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
如何计算‘阿尔法’数值:
(1)Dot-product——常用
(2)Additive
在这里插入图片描述
Dot-product
w先随机生成,后通过梯度下降训练得出。
在这里插入图片描述
在这里插入图片描述
为什么要用soft-max?
不一定用soft-max,只是比较常见,也可以用别的。

得到a’后,我们可以知道哪些向量与a1是最有关系的,然后我们开始根据attention score来抽取重要资讯
在这里插入图片描述
在这里插入图片描述
b1-b4是可以并行计算得到
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
softmax可以使用其他
在这里插入图片描述
在这里插入图片描述
从I——>O就是做了self-attention
self-attention layer中唯一需要学习的参数是W
在这里插入图片描述

Multi-head Self-attention多头注意力机制

翻译、语音辨识用multi-head往往可以得到比较好的结果,至于多少个head也是需要调参的。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
self-attention layer少了一个很重要的资讯——位置资讯,如果需要可以加入positional encoding。(这个问题尚待研究)
在这里插入图片描述

self-attention的应用

在这里插入图片描述
使用self-attention 处理语音时,会产生很长的向量,即attention matrix太大,不容易训练,因此使用truncated self-attention,看一部分(自己设定)而不去看整句话。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Self -attention 和 CNN的关系

在这里插入图片描述
self-attention中的receptive field是机器自己学出来的,自己决定需要考虑哪些信息。

在这里插入图片描述
在这里插入图片描述

Self-attention VS RNN

(1)self-attention考虑的范围较广
在这里插入图片描述

(2)倘若RNN要考虑最右边黄色vector要考虑最左边蓝色vector,则它需要将蓝色vector存到Memory中,然后不能忘掉一路带到最右边。
在这里插入图片描述
(3)RNN:nonparallel
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀~~~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值