深度学习-*-RNN正向及反向传播

RNN简介

RNN（循环神经网络）是深度神经网络中，应用最广泛的两种神经网络架构之一。并且，作为一种时序结构的神经网络，RNN经常用于时序相关的问题中，且在NLP中应用广泛。还有一种RNN称为递归神经网络，虽然名字类似，但是却是不一样的架构。

RNN图示

$x_t$是输入层数据，$s_t$是隐含层数据，$o_t$是输出层数据，我们令：每一个$y_t$是t时刻对应的真实输出，$y_t^{hat}$是对$o_t$进行softmax计算之后得到的估计值。$U$是输入层到隐含层的权重，$W$是上一时刻隐含层到当前时刻隐含层的权重，$V$是隐含层到输出层的权重。

正向传播

由上图易知：$$a_t=b+W\ast s_{t-1}+U\ast x_t$$$$s_t=tanh(a_t)$$$$o_t=c+U\ast s_t$$ y t