transformer入门
先看李宏毅老师的视频(由例子入手浅显易懂,虽然时间有点长,但比想速成找时间短的视频,然后发现讲的不清楚,再弯弯绕绕找其他资料效率高很多):强烈推荐!台大李宏毅自注意力机制和Transformer详解!_哔哩哔哩_bilibili
再看文章(文字版加深印象):【通俗易懂】大白话讲解 Transformer - 知乎 (zhihu.com)
然后在学习的过程中把自己不会的点,或者难以理解的部分记录下来,针对性找资料。
比如我就对于layer norm 很困惑于是找到了这一篇:Transformer中的layer norm(包含代码解释)_transformer layernorm-CSDN博客
Bert入门
看李沐老师视频:BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili