前言
本文为学习记录,其中的内容和图片多有借鉴其他文章的内容,相关博文在参考文献处一并给出链接。
整体架构
Encoder
Decoder
参考文献
[1]Self-Attention和Transformer
[2]详解Transformer (Attention Is All You Need)
[3]强烈推荐!台大李宏毅自注意力机制和Transformer详解!
[4]The Illustrated Transformer
[5]Transformer中Q,K,V的理解
[6]transformer的self_attention中(KQV)中的V为什么也要乘一个Wv矩阵?
[8]transformer中QKV的通俗理解(渣男与备胎的故事)
[9]The Annotated Transformer