Li_26 Self Attention

考虑Sequence中各个vector的关联性

关联性：query(查询信息)、key（匹配信息）

Self attention:

Multi-head Self-attention

Positional Encoding

Self-attention中是没有位置信息的。每个位置由对应的vector。

• 可以用于语音识别、影像识别

• CNN可以看作简化版的self-attention(参考文献如下)

• self-attention模型和CNN的效果对比：

• self-attention vs RNN

• self-attention for Graph

只需要考虑有edge的点之间的关联就行。是一种类型的GNN。

• 问题：运算量太大