Task2:文本预处理;语言模型;循环神经网络基础(RNN)

1.文本预处理

构建字典{}

tokens可以是列表(list) [(),()]、元组(tuple) ( , ,)、字符串

2.语言模型

这里介绍的是基于统计的语言模型，主要用n-gram(n元语法)，n-gram是基于n-1阶马尔可夫链简化的语言模型。后续会介绍基于神经网络的语言模型。

set()去重　join()拼接

批量大小batch_size是每个小批量的样本数

3.循环神经网络（Recurrent Neural Network, RNN）

3.1 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）.

双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的的循环神经网络.

3.2 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks).

3.3 一些概念

加法的广播机制　仿射变换

.apend()