本文概述了自然语言处理（NLP）从n-gram模型到预训练语言模型如BERT的发展历程，包括分布式理论在词袋模型中的应用，神经概率语言模型如RNN的出现，以及word2vec和后续的GPT、ELMo、BERT等模型的创新。这些进步显著推动了NLP领域的进步，特别是在语义理解和文本表示方面。
记录nlp的发展历程：
1.n-gram模型：是基于统计的语言模型，通过前n个词来预测第n+1个词；
2.分布式理论+词袋模型：上下文相似的词，其语义也相似，是一种统计意义上的分布，是word2vec到bert等预训练模型的基础思想；
3.分布式表示：是指文本的一种表示方式，相比于独热表示，分布式表示将文本在更低的维度进行表示。
4.神经概率语言模型：RNN
5.worf2vec
6.预训练语言模型（2018）
预训练语言模型的发展
1.word2vec(2013)
2.Glove(2014)
3.LSTM+Attention(2015)
4.Self-Attention(2016)
5.Transformer(2017)
6.GPT/ELMo/BERT/GNN(2018)
7.XLNet/RoBERTa/gpt-2/ERNIE/T5(2019)
8.GPT-3/ELECTRA/ALBERT
609
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
