深度学习---RNN循环神经网络&LSTM解决长依赖问题

神经网络只能单独的处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，在我们处理某些任务时，要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。输入和输出都是等长的序列。这里使用RNN循环神经网络来处理这类问题。
一、RNN循环神经网络
循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出。隐藏层之间的结点是有连接的，输入不仅包括输入层的输出还包括上时刻隐藏层的输出。

循环神经网络首先把所有的输入值进行词组的分解
隐藏层的作用是对序列数据提取特征

h2 的计算和 h1 类似，在计算时，每一步使用的参数 U、W、b 都是一样的，也就是说每个步骤的参数都是共享的，这就 RNN 的一个重要特点，参数共享。
这样的一条链状神经网络代表了一个递归神经网络，可以认为它是对相同神经网络的多重复制，每一时刻的神经网络会传递信息给下一时刻。
二、循环神经网络的数学定义
输入为x1,x2,…,xt对应的隐状态为h1,h2,…,ht
输出为y1,y2,…,yt，如，则经典RNN的运算过程可以表示为
ht=f(Uxt+Wht−1+b)
yt=softmax(Vht+c)
其中，U,W,V,b,c均为参数，而f()表示激活函数