论文阅读 （二）Transformer学习

专栏文章：
Transformer 极视平台
《3W字长文带你轻松入门视觉Transformer》
https://mp.weixin.qq.com/s/X4Q_mKqYmD9bvstZ7SZ5eg

【Transformer】10分钟学会Transformer | Pytorch代码讲解 | 代码可运行
https://zhuanlan.zhihu.com/p/403433120

Transformer论文逐段精读【论文精读】| 笔记
https://www.bilibili.com/read/cv13759416?spm_id_from=333.788.b_636f6d6d656e74.137

视频：
Transformer论文逐段精读【论文精读】
https://www.bilibili.com/video/BV1pu411o7BE?spm_id_from=333.999.0.0

之前学习沐神的《动手学深度学习》看过一段时间Transformer，当时把RNN、LSTM GRU seq2seq word2vec这些系统的学习了下，transformer和Bert还系统的看了一下，不过长时间不接触全还回去了。最近ViT系列有点火，接着把Transformer捡起来，技术不断迭代，学习不能停止呀！

本打算跑数据准备写论文的，数据预处理太累了，还是看会儿论文学习会儿东西 来 放松下，哈哈

极市平台的的博文真心不错，图文加代码，理解起来还是很方便的。
然后跟着沐神的论文讲解，把Transformer过了下，为ViT做准备。

来张图压底。
着重理解QKV在干什么，后面就很简单了。