1 相关参考:
[1] https://blog.csdn.net/longxinchen_ml/article/details/86533005 图解transformer, 这篇博客以生动的图解详细介绍了transformer的基本原理
[2] https://zhuanlan.zhihu.com/p/104393915 【经典精读】Transformer模型深度解读 这篇博客也是介绍transformer的原理, 相比上一篇博文更加深入一点,2篇博文可以对照学习, 能更好的理解
[3] https://zhuanlan.zhihu.com/p/359071701 这篇博客简要介绍了vision transformer 的基本原理
[4] https://github.com/rwightman/pytorch-image-models/blob/master/timm/models/vision_transformer.py pytorch版本的vit代码实现
[5] https://link.zhihu.com/?target=https%3A//github.com/google-research/vision_transformer google原版代码