整理transformer容易理解(可能质量不会太好,但肯定容易理解)的一些文章
1.embeding
https://chriszou.com/2019/06/29/embedding-explained/
通俗的方式解释了,embeding是什么东西
2.位置编码
英文https://www.youtube.com/watch?v=dichIcUZfOw
英文https://www.cnblogs.com/emanlee/p/17137698.html
英文https://www.inovex.de/de/blog/positional-encoding-everything-you-need-to-know/#:~:text=The%20simplest%20example%20of%20positional,and%20added%20to%20that%20input
英文https://machinelearningmastery.com/a-gentle-introduction-to-positional-encoding-in-transformer-models-part-1/
英文https://kazemnejad.com/blog/transformer_architecture_positional_encoding/
2.transformer图解计算过程
中文http://fancyerii.github.io/2019/03/09/transformer-illustrated/
中文https://zhuanlan.zhihu.com/p/219714713
英文http://jalammar.github.io/illustrated-transformer/
中文https://zhuanlan.zhihu.com/p/338817680
3.transformer的代码实现
http://fancyerii.github.io/2019/03/09/transformer-codes/#the-annotated-transformer_14_0