RNN 循环神经网络

生活中存在许多与时序有关的数据，需要一个模型能够很好表示这种关系，循环神经网络就诞生了 。

数据例如

        1).一个句子，词与词之间的先后顺序不同，表达的含义也不同

        2).语音信号：传感器采集的声波信号与时间有关

        3).视频：每一帧图像的排列顺序

        4),股票k线图，气象数据图，辐照数据等

    普通RNN的结构：

        

 

每一个单元的输入包含两部分（一是上一时刻的状态，二是当前时刻的输入）

输出也是两部分（当前时刻的输出，当前时刻的状态St）

为减少参数的数量，其中权重W,U,V参数是共享的。

 LSTM(长短时记忆神经网络)

由于普通的RNN存在梯度消失（tanh激活函数值域在[-1，1]之间，求导梯度很小）和 对于长序列的输入记忆力不强，提出了LSTM，有三个门选择性的控制输出信息和输出状态

遗忘门：

输入门

输出门