RNN

RNN从时间和空间两个不同维度来看，主要有两种结构：Recurrent Neural Network(循环神经网络)和RecursiveNeural Network(递归神经网络)。主要对于前者进行学习。

循环神经网络是一个在时间上传递的神经网络，网络的深度就是时间的长度。该神经网络是专门用来处理时间序列问题的，能够提取时间序列的信息。如果是前向神经网络，每一层的神经元信号只能够向下一层传播，样本的处理在时刻上是独立的。对于循环神经网络而言，神经元在这个时刻的输出可以直接影响下一个时间点的输入，因此该神经网络能够处理时间序列方面的问题。

RNN的重要特性是可以处理不定长的输入，得到一定的输出。将输入的序列使用RNN映射为一个固定大小的向量，然后将这个向量输入softmax层，用于分类和其他任务。随着，信息关联度越来越长，RNN 将变得无法去学习这些信息之间的联系，从而完全失去作用，为了解决RNN遗忘性这个问题，所以提出了 LSTM 的结构。同时对softmax和LSTM这两个概念进行学习。