记录nlp的发展历程:
1.n-gram模型:是基于统计的语言模型,通过前n个词来预测第n+1个词;
2.分布式理论+词袋模型:上下文相似的词,其语义也相似,是一种统计意义上的分布,是word2vec到bert等预训练模型的基础思想;
3.分布式表示:是指文本的一种表示方式,相比于独热表示,分布式表示将文本在更低的维度进行表示。
4.神经概率语言模型:RNN
5.worf2vec
6.预训练语言模型(2018)
预训练语言模型的发展
1.word2vec(2013)
2.Glove(2014)
3.LSTM+Attention(2015)
4.Self-Attention(2016)
5.Transformer(2017)
6.GPT/ELMo/BERT/GNN(2018)
7.XLNet/RoBERTa/gpt-2/ERNIE/T5(2019)
8.GPT-3/ELECTRA/ALBERT