NLP领域的知识体系构建及成长之路

前言

博主准备去C9读CS博士了，从找工作到申博，其中的路有多难走，只有我自己知道，anyway，感谢那个不曾放弃的自己！

由于以后可能会接触到大模型相关的知识，所以现在想迫切的构建一下自己的知识体系，之前也只是对于CV领域比较熟悉，CNN、MLP以及一点点RNN的知识，但是当前最重要的Transformer确实是过于疏忽了，希望通过自己的努力，尽快把这些知识补齐，不至于落下太多。(不了解深度学习的头牌：Transformer，必定会落后时代的发展)

当然，这篇博客的出发点不仅仅是做一些知识的积累，也还是希望能够构建一些相关领域的知识体系，以及上手一些代码，实现更快的成长。

无论如何，还是要坚持写博客，更新博客的习惯，尽早成为浏览量1000k+的博主，如果当前博客的内容还不够多，不妨点个关注和收藏，follow一下这个系列，我会努力更新，谢谢 >_<

推荐博客

NLP 以及 LLM 的知识体系构建：

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
李宏毅2023春机器学习课程(聚焦大模型)
台大陈蕴侬教授NLP课程2022
CMU CS 11-711 NLP课程 2022年
jalammar.github.io（几乎可以找到所有模型通俗易懂的解释与概括）

Transfomer：

nlp-tutorial(源码)
深度学习中的注意力模型（2017版）
哈佛大学NLP研究组：The Annotated Transformer（2018）
Jay Alammar可视化地介绍Transformer：The Illustrated Transformer

经典论文

Transformer: Attention is all you need (17)
ELMo：Embeddings from Language Models (18)
GPT-1: Improving Language Understanding by Generative Pre-Training (18)
GPT2：Language Models are Unsupervised Multitask Learners（19）
GPT3：Language Models are Few-Shot Learners（NIPS20）
GPT-4 Technical Report(23)
BERT( Bidirectional Encoder Representations from Transformers.): Pre-training of Deep Bidirectional Transformers for Language Understanding（NAACL 19）
RoBERTa: A Robustly Optimized BERT Pretraining Approach(arxiv19)
ERNIE: Enhanced Language Representation with Informative Entities(ACL19)
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations(ICLR20)
Reformer: The Efficient Transformer(ICLR20)
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension（ACL20）
Longformer: The Long-Document Transformer(arxiv20)
Transformer-XL: Attentive Language Models beyond a Fixed-Length Context(ACL19)
XLNet: Generalized Autoregressive Pretraining for Language Understanding(NIPS 19)
T5：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(JMLR 20)