文本预处理；语言模型；循环神经网络基础

文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

语言模型与数据集

介绍了n元语法，并介绍了语言模型数据集的两种采样方法。

1、随机采样¶

下面的代码每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数，num_steps是每个样本所包含的时间步数。 在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻。

2、相邻采样¶

在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻。

 

循环神经网络

基于循环神经网络的语言模型

 

循环神经