Day2

一、文本预处理

1.文本是一类序列数据，一篇文章可以看作是字符或单词的序列，预处理通常包括四个步骤：

（1）读入文本
（2）分词
（3）建立字典，将每一个词映射到一个唯一的索引
（4）将文本从词的序列转化为索引的序列，方便输入模型

2.现有的分词工具

例如： SpaCy, NLTK

二、语言模型

1.一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

											P(w1,w2,…,wT).

2.在时序数据的采样，我们通常使用随机采样和相邻采样两种方法。

三、循环神经网络基础

1.循环神经网络可以用来实现语言模型。我们可以基于当前输入与过去输入的数据来预测接下来的序列字符。下图展示了循环神经网络实现语言模型的示例：