学习大纲(更新中)

新生阅读资料

(1) 机器学习知识
有监督, 无监督
线性回归, 分类
支持向量机
参数优化算法 (sgd等)

(2) 词向量 (word embedding)
a. 秒懂词向量Word2vec的本质
https://zhuanlan.zhihu.com/p/26306795
(里面提到词向量的鼻祖论文, 如有需要, 可自行打印阅读)

作业: 如何训练得到词向量模型?

(3) 全连接神经网络 及反向推导
a. 全连接神经网络的前向和反向传播推导
https://blog.csdn.net/u013498583/article/details/79414296

(4) RNN/LSTM/GRU 模型
以下内容会有重复

a. LSTM模型理论总结
https://blog.csdn.net/ch1209498273/article/details/78339319

b. Understanding LSTM Networks
http://colah.github.io/posts/2015-08-Understanding-LSTMs/

(5) CNN 模型

(6) 基于神经网络的文本分类任务

(7) 基于神经网络的序列标注任务

(8) 基于神经网络的序列到序列任务

(9) 自然语言处理相关任务及经典方法
a. 分词/词性标注 (隐马尔科夫模型)
https://www.zhihu.com/question/20962240

b. 句法分析 (包括组块句法分析和依存句法分析)
基于转换的句法分析

c. 语言模型
语言模型的基本概念: https://blog.csdn.net/MSPinyin/article/details/6137815

作业: 如何训练基于RNN的语言模型?