1.博客学习:
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
层层剖析,让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
2.视频学习:
强烈推荐!台大李宏毅自注意力机制和Transformer详解!
下面这一个是学习ViT的视频:
11.1 Vision Transformer(vit)网络详解
3.动手编码:
DeepLearning2/code/A01.Transformer使用
和 DeepLearning2/code/A02.Transformer使用
Transformer学习02
Transformer学习01