Transformer学习资源转载

Transformer学习资源转载

深入Attention机制

attention_output = Attention(Query, Key, Value) 。
在机器翻译<x, y>的encoder-decoder结构之中, Query属于Target，<Key, Value>属于Source。
Query就是encoder最后一层和decoder隐层状态所代表的中间语义信息。Key和Value在机器翻译中是一样的，都代表输入x。
综上，Attention机制就是利用Target中的Query与Source中的Key的相似性计算权重，然后再将权重分配给Source的Value
PS:self-attention就是Q=K(=V)的情况，即Target与Source相同，或者也可以就叫做仅利用Source信息的Attention。

• CSDN, 深度学习中的注意力机制, attention, self-attention
• 知乎, NLP中的Attention原理

Transformer原理

• 知乎，Transformer大概原理
• CSDN，图解Transformer，很详细不过Positional Encoding公式看不清
• CSDN, Transformer图解