考虑Sequence中各个vector的关联性
关联性:query(查询信息)、key(匹配信息)
![](https://i-blog.csdnimg.cn/blog_migrate/ec110d5553fc5c8ea19b62da3e9e45fa.png)
Self attention:
![](https://i-blog.csdnimg.cn/blog_migrate/6dc912c9a05e875a556fda3563043ca3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5aa115363e51fcae552db425d9523110.png)
Multi-head Self-attention
![](https://i-blog.csdnimg.cn/blog_migrate/d4cb4d62551e4245cd290e5f8f7dc4ec.png)
Positional Encoding
Self-attention中是没有位置信息的。每个位置由对应的vector。
![](https://i-blog.csdnimg.cn/blog_migrate/a1fe51bd03a3353d06105f1a3f5e10b8.png)
可以用于语音识别、影像识别
CNN可以看作简化版的self-attention(参考文献如下)
![](https://i-blog.csdnimg.cn/blog_migrate/2ac3a54c2460333b2e341b88464692f5.png)
self-attention模型和CNN的效果对比:
![](https://i-blog.csdnimg.cn/blog_migrate/422c79e1fb8dad7d4c34c99f032a263d.png)
self-attention vs RNN
![](https://i-blog.csdnimg.cn/blog_migrate/5fe22142dbb215f89a6d8fa6a9c5b436.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b8ba15b5173eed9fc0b3c6e06b0385.png)
self-attention for Graph
![](https://i-blog.csdnimg.cn/blog_migrate/23676bf24d8c911e701a6471fe28fc63.png)
只需要考虑有edge的点之间的关联就行。是一种类型的GNN。
问题:运算量太大