自然语言处理学习大纲

第一部分：机器学习基础篇

第一章：自然语言处理概述

自然语言处理的现状与前景

自然语言处理应用

自然语言处理经典任务

第二章：数据结构与算法基础

时间复杂度、空间复杂度

动态规划

贪心算法

各种排序算法

第三章：分类与逻辑回归

逻辑回归

最大似然估计

优化与梯度下降法

随机梯度下降法

第四章：模型泛化与调参

理解过拟合、防止过拟合

L1与L2正则

交叉验证

正则与MAP估计

第二部分：文本处理篇

第五章：文本预处理与表示

各类分词算法

词的标准化

拼写纠错、停用词

独热编码表示

tf-idf与相似度

分布式表示与词向量

词向量可视化与评估

第六章：词向量技术

独热编码的优缺点

分布式表示的优点

静态词向量与动态词向量

SkipGram与CBOW

SkipGram详解

Negative  Sampling

第七章：语言模型

语言模型的作用

马尔科夫假设

UniGram, BiGram, NGram模型

语言模型的评估

语言模型的平滑技术

第三部分：序列模型篇

第八章：隐马尔科夫模型

HMM的应用

HMM的Inference

维特比算法

前向、后向算法

HMM的参数估计详解

第九章：线性条件随机场

有向图与无向图

生成模型与判别模型

从HMM与MEMM

MEMM中的标签偏置

Log-Linear模型介绍

从Log-Linear到LinearCRF

LinearCRF的参数估计

第四部分：深度学习与预训练篇

第十章：深度学习基础

理解神经网络

各种常见的激活函数

反向传播算法

浅层模型与深度模型对比

深度学习中的层次表示

深度学习中的过拟合

第十一章：RNN与LSTM

从HMM到RNN模型

RNN中的梯度问题

梯度消失与LSTM

LSTM到GRU

双向LSTM

双向深度LSTM

第十二章：Seq2Seq模型与注意力机制

Seq2Seq模型

Greedy Decoding

Beam Search

长依赖所存在的问题

注意力机制的实现

第十三章：动态词向量与ELMo技术

基于上下文的词向量技术

图像识别中的层次表示

文本领域中的层次表示

ELMo模型

ELMo的预训练与测试

ELMo的优缺点

第十四章：自注意力机制与Transformer

LSTM模型的缺点

Transformer概述

理解自注意力机制

位置信息的编码

理解Encoder和Decoder区别

理解Transformer的训练与预测

Transformer的缺点

第十五章：BERT与ALBERT

自编码介绍

Transformer Encoder

Masked语言模型

BERT模型

BERT的不同训练方式

ALBERT 

第十六章：BERT的其他变种

RoBERTa模型

SpanBERT模型

FinBERT模型

引入先验知识

K-BERT

KG-BERT

第十七章：GPT与XLNet

Transformer Encoder回顾

GPT-1, GPT-2,  GPT-3

ELMo的缺点

语言模型下同时考虑上下文

Permutation LM

双流自注意力机制

第五部分：信息抽取与知识图谱篇

第十八章：命名识别与实体消歧

信息抽取的应用和关键技术

命名实体识别

NER识别常用技术

实体统一技术

实体消歧技术

指代消解

第十九章：关系抽取

关系抽取的应用

基于规则的方法

基于监督学习的方法

Bootstrap方法

Distant Supervision方法

第二十章：句法分析

句法分析的应用

CFG介绍

从CFG到PCFG

评估语法树

寻找最好的语法树

CKY算法

第二十一章：依存文法分析

从语法分析到依存文法分析

依存文法分析的应用

基于图算法的依存文法分析

基于Transition-based的依存文法分析

依存文法的应用案例

第二十二章：知识图谱

知识图谱的重要性

知识图谱中的实体与关系

非结构化数据与构造知识图谱

知识图谱设计

图算法的应用

第六部分：模型压缩与图神经网络篇

第二十三章：模型的压缩

模型压缩重要性

常见的模型压缩总览

基于矩阵分解的压缩技术

基于蒸馏的压缩技术

基于贝叶斯模型的压缩技术

模型的量化

第二十四章：基于图的学习

图的表示

图与知识图谱

关于图的常见算法

Deepwalk和Node2vec

TransE图嵌入算法

DSNE图嵌入算法

第二十五章：图神经网络

卷积神经网络回顾

在图中设计卷积操作

图中的信息传递

图卷积神经网络

图卷积神经网络的经典应用

第二十六章：GraphSage与GAT

从GCN到GraphSAge

注意力机制回归

GAT模型详解

GAT与GCN比较

对于异构数据的处理

第二十七章：图神经网络的其他应用

Node Classification

Graph Classification

Link Prediction

社区挖掘

推荐系统

图神经网络的未来发展