如何从浅入深理解 Transformer
附赠自动驾驶最全的学习资料和量产经验:链接
本回答分为三个部分:Transformer,Attention,论文
学习顺序按照排列顺序,不过还是看个人自由。如果对attention了解,就可以跳过。
Attention
Transformer
论文列表
-
Transformer
-
BERT
-
ALBERT
-
RoBERTa
-
GPT-2
-
MASS
-
BART
-
UniLM-1,2
-
T5
-
邱老师
的PLM综述:https://arxiv.org/pdf/2003.08271
- 邱老师和林dalao的Transformer综述
:https://arxiv.org/pdf/2106.04554
- THUNLP组(刘老师)
的PLM论文list:thunlp/PLMpapers