NLP学习路线小结

1.深度学习理论基础

正向传播/反向传播/损失函数/梯度下降/误差

2.深度学习模型

RNN/LSTM/CNN/Transformer等特征提取器的特点和优缺点，并能够熟练使用词向量，BERT，GPT等预训练模型

3.深度学习框架

Tensorflow，Pytorch，Keras

4.基本任务

分词，词向量，NER，情感分析，文本分类，语义匹配等基本任务常用的模型及方法

分词是最基本的步骤，需了解基本的分词理论及熟练掌握常用的分词工具用法

稠密式词向量的出现是NLP发展过程中非常重要的事件，需要深入理解词向量的理论，深入理解word2vec训练词向量的原理。熟悉gensim等制备词向量的工具

NER及文本分类是需要非常熟练掌握的一种常用方法。以NER为例，如今比较流行的基于CNN或LSTM的模型是需要熟练掌握的

5.机器学习算法

熟悉朴素贝叶斯，HMM，CRF，SVM等NLP中常用的机器学习算法

6.Python

能够用Python实现一个简单的全连接前馈神经网络，实现正向传播，反向传播等

7.更复杂的NLP任务

对话机器人，机器翻译，知识图谱等，它们往往是多种NLP任务和软件系统的综合

通过更复杂的任务可以了解到一些新的NLP技术，比如attention，seq2seq，transformer等

8.火爆的预训练模型

GPT，BERT，XLNET等深入了解它们的历史，原理，实现以及实际应用