自然语言处理学习计划

第一部分 机器学习与优化理论基础
凸优化基础
判定凸集，以及凸函数
线性规划与二次规划
拉格朗日与对偶函数
Strong Duality与KKT条件
Non-convex优化问题
NP-Hard问题与松弛化处理
Discrete Optimization
GD, SGD, Adam, Adagrad
L-BFGS, ADMM

机器学习基础
生成模型与判别模型
最大似然与最大后验估计
模型的过拟合
各类不同的正则(L1, L2, L0)
各类启发式算法（遗传算法、贝叶斯优化等）
随机森林与XGBoost
SVM与Dual SVM
Kernel Trick与设计核函数

第二部分 语言模型与序列标注

文本处理技术与语言模型
最大匹配算法与Jieba技术剖析
SkipGram与负采样
CBOW, Glove, MF
Noisy Channel Model
N-Gram模型与各类平滑技术
NNLM

序列模型与条件随机场
EM算法与GMM
有向图与无向图
条件独立、D-separation
HMM模型、Viterbi以及参数估计
MEMM与Label Bias问题
Log-Linear模型与逻辑回归
Linear-CRF与参数估计

第三部分 预训练模型

递归神经网络与注意力机制
分布式表示的优点
RNN与梯度问题
LSTM, GRU与BI-LSTM
Seq2Seq与注意力机制
Beam Search
BI-LSTM-CRF模型

ELMo与Transformer
上下文有关词向量的学习
NLU中的层次表示
Deep BI-LSTM与ELMo
Bottleneck问题与长依赖问题
Self-Attention,Multi-head Attention
Transformer与Transformer-XL

BERT与ALBERT
Autoencoder与DAE
MLM语言模型
BERT模型
BERT-BiLSTM-CRF
ALBERT模型
GPT2模型

XLNet与其他预训练模型
AR语言模型
Permutation语言模型
Two-Stream Attention
XLNet模型
Roberta
Q-Bert，VI-Bert
其他模型（TBD)

第四部分 信息抽取与图神经网络

信息抽取与知识图谱
NE的抽取与识别
基于规则的关系抽取技术
基于无监督、半监督的关系抽取
实体统一、实体消歧、指代消解
知识图谱、实体与关系
知识图谱中的推理

知识浅入与图神经网络
TransE，NTN，Node2Vec模型
SDNE模型
带属性的网络嵌入
Graph Neural Network
CNN与Graph CNN
Dynamic Graph的处理
BERT与KG的结合

第五部分 对话系统与文本摘要

对话系统
智能问答与对话系统
基于检索的对话系统
基于生成式的对话管理
意图识别与有限状态机
基于任务式的对话系统
基于增强学习的对话系统
多轮对话的挑战

文本摘要
Abstractive vs Extractive
基于模板的文本摘要生成
基于Seq2Seq的文本摘要生成
ROUGE与Blue
Hierarhical Attention
Pointer-Generator Network
Beam Search的改造
Levenshtein Transformer
MASS

第六部分 模型压缩与其他前沿主题

模型压缩
嵌入式设备中的模型压缩
基于Sparsity的模型压缩
基于矩阵分解的模型压缩
基于蒸馏方法的模型压缩
BERT、Transformer的压缩

贝叶斯模型
MLE、MAP、Bayesian模型区别
Dropout与Bayesian Approximation
PGM与主题模型
吉布斯采样、变分法
SGDL与SVI
分布式吉布斯采样

可视化与低资源学习
深度学习中的可视化技术
RNN、LSTM的可视化
Layer-wise Relevance Propagation
Cross-Domain语言学习
Transfer Learning
One-shot Learning