写在前面
[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记] | [homework_code]
https://github.com/wolfparticle/machineLearningDeepLearning
文章目录
- 写在前面
- 输入是多个向量,而且这个输入的向量的数目是会改变的呢(之前的输入都是不会变的)
- 聚焦第一个问题:输入输出等长
- -----------------------视频(下)---------------------------------------
- 再讲一次b2怎么得来
- 进阶版:Multi-head Self-Attention
- Positional Encoding(位置信息)
- 应用:
- Self-Attention v.s. CNN
- Self-attention v.s. RNN (RNN 这门课没有将,已经可以被Self-attention取代了?)(李宏毅老师的课真是与时俱进了)
- Self-attention for Graph(GNN)(水也很深)![](https://i-blog.csdnimg.cn/blog_migrate/8d329df27e1bfa0149a617b2f6c2281f.png)
- Self-attention (to learn more)(运算量非常大,怎么减少运算量也是未来的一个重点)(什么样的transform又快又好尚待研究问题,transform就是广义的self-attention了)
输入是多个向量,而且这个输入的向量的数目是会改变的呢(之前的输入都是不会变的)
输入例子
输出例子(输入输出等长,输出只有1长度,输出长度未知seq2seq)
聚焦第一个问题:输入输出等长
Sequence Labeling
Self-Attention(可以多次叠加)
Self-Attention的原理
-----------------------视频(下)---------------------------------------
再讲一次b2怎么得来
从矩阵乘法的角度解释
进阶版:Multi-head Self-Attention
Positional Encoding(位置信息)
应用:
语音上应用
在图片上的应用
Self-Attention v.s. CNN