机器学习之循环神经网络（RNN）入门

一、循环神经网络

1. 主要用途：处理和预测序列数据。

2. 区别：全连接神经网络和卷积神经网络，都是从输入层到隐含层再到输出层，层与层之间是全连接或者部分连接，但是每层之间的节点是无连接的。而循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。循环神经网络会记忆之前信息，并利用之前的信息影响后面结点的输出。

3. 结构：

 

4. 前向传播：

 

 

假设输入向量的维度为x,然后在t时刻循环体的全连接层神经网络的输入大小位h+x。也就是将上一时刻的状态与当前时刻的输入拼接成一个大的向量作为循环体中神经网络的输入。输出层的节点个数为h，循环体中参数的个数（h+x）×h+h