循环神经网络（Recurrent Neural Network, RNN）

总结自吴恩达老师的网易深度学习工程师微专业

1. 前向传播

$a^t=g^{(a)}(W_{aa}{a}^{<t-1>}+W_{ax}{x}^{<t>}+b_a)$
${\hat{y}}^{<t>}=g^{(y)}(W_{ya}{a}^{<t>}+b_y)$
or, 简化版
$a^t=g^{(a)}(W_a[a^{<t-1>},x^{<t>}]+b_a)$
${\hat{y}}^{<t>}=g^{(y)}(W_y{a}^{<t>}+b_y)$

Note

1. 一般而言，初始激活向量为：$a^{<0>}=\vec{0}$
2. 通常，$g^{(a)}$选择$tanh$函数（$tanh$函数梯度消失的问题会用其他方式解决），有时也会选用$relu$函数。
3. ${\hat{y}}^{<t>}=g^{(y)}(W_{ya}{a}^{<t>}+b_y)$如果是二分类问题，使用$sigmoid$函数，如果是多分类问题，可以使用$softmax$函数。

2. 损失函数

为了进行反向传播计算，使用梯度下降等方法来更新RNN的参数，我们需要定义一个损失函数，如下：
$L(\hat{y},y)={\sum }_{t=1}^{T_y}{L}^{<t>}({\hat{y}}^{<t>},y^{<t>})={\sum }_{t=1}^{T_y}-(y^{<t>}log({\hat{y}}^{<t>})+(1-y^{<t>})log(1-{\hat{y}}^{<t>}))$

3. BPTT

RNN的反向传播将在后续部分有专门的介绍。