前言
博主准备去C9读CS博士了,从找工作到申博,其中的路有多难走,只有我自己知道,anyway,感谢那个不曾放弃的自己!
由于以后可能会接触到大模型相关的知识,所以现在想迫切的构建一下自己的知识体系,之前也只是对于CV领域比较熟悉,CNN、MLP以及一点点RNN的知识,但是当前最重要的Transformer确实是过于疏忽了,希望通过自己的努力,尽快把这些知识补齐,不至于落下太多。(不了解深度学习的头牌:Transformer,必定会落后时代的发展)
当然,这篇博客的出发点不仅仅是做一些知识的积累,也还是希望能够构建一些相关领域的知识体系,以及上手一些代码,实现更快的成长。
无论如何,还是要坚持写博客,更新博客的习惯,尽早成为浏览量1000k+的博主,如果当前博客的内容还不够多,不妨点个关注和收藏,follow一下这个系列,我会努力更新,谢谢 >_<
推荐博客
NLP 以及 LLM 的知识体系构建:
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
李宏毅2023春机器学习课程(聚焦大模型)
台大陈蕴侬教授NLP课程2022
CMU CS 11-711 NLP课程 2022年
jalammar.github.io(几乎可以找到所有模型通俗易懂的解释与概括)
Transfomer:
nlp-tutorial(源码)
深度学习中的注意力模型(2017版)
哈佛大学NLP研究组:The Annotated Transformer(2018)
Jay Alammar可视化地介绍Transformer:The Illustrated Transformer
经典论文
Transformer: Attention is all you need (17)
ELMo:Embeddings from Language Models (18)
GPT-1: Improving Language Understanding by Generative Pre-Training (18)
GPT2:Language Models are Unsupervised Multitask Learners(19)
GPT3:Language Models are Few-Shot Learners(NIPS20)
GPT-4 Technical Report(23)
BERT( Bidirectional Encoder Representations from Transformers.): Pre-training of Deep Bidirectional Transformers for Language Understanding(NAACL 19)
RoBERTa: A Robustly Optimized BERT Pretraining Approach(arxiv19)
ERNIE: Enhanced Language Representation with Informative Entities(ACL19)
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations(ICLR20)
Reformer: The Efficient Transformer(ICLR20)
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension(ACL20)
Longformer: The Long-Document Transformer(arxiv20)
Transformer-XL: Attentive Language Models beyond a Fixed-Length Context(ACL19)
XLNet: Generalized Autoregressive Pretraining for Language Understanding(NIPS 19)
T5:Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(JMLR 20)