参考链接
浅谈 Transformer-based 模型中的位置表示
Positional Encodings in ViTs 近期各视觉Transformer中的位置编码方法总结及代码解析 1
个人觉得比较好的博客和视频:
1.简单明了,即讲解了Transformer原理又详细解释了位置编码
VIT(vision transformer)之旅——近年超火的Transformer你再不了解就晚了!
2.两位大佬的博客,里面关于数学推导的内容较多
Sinusoidal 位置编码追根溯源
对应的视频:Transformer 位置编码追根溯源;
Attention is all your need – Positional Encoding
2.另外一个讲解视频
Transformer的位置编码(Position Encoding)进展梳理
视频对应的手稿: