基于时间的反向传播算法BPTT（Backpropagation through time）

本文是读“Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients”的读书笔记，加入了自己的一些理解，有兴趣可以直接阅读原文。

1. 算法介绍

这里引用原文中的网络结构图

其中$x$为输入，$s$为隐藏层状态，o为输出，按时间展开

为了与文献中的表示一致，我们用$\hat{y}$来代替o，则
$$\begin{gathered} s_t=tanh(U{x}_t+W{s}_{t-1}) \\ \hat{y}=softmat(V{s}_t) \end{gathered}$$
使用交叉熵（cross entropy）作为损失函数
$$\begin{gathered} E_t(y,\hat{y})=-y_{t}log\hat{y} \\ E(y,\hat{y})=\sum _t{E}_t(y_t,{\hat{y}}_t)=-\sum _t{y}_{t}log\hat{y} \end{gathered}$$
我们使用链式法则来计算后向传播时的梯度，以网络的输出$E_3$为例，
y ^ 3 = e z 3 ∑ i e z i E 3 = − y 3 l o g y ^ 3 = − y 3 ( z 3 − l o g ∑ i e z i ) z 3 = V s 3 s 3 = t a n h ( U x 3 + W s 2 ) \hat y_3=\frac{e^{z_3}}{\sum_ie^{z_i}} \\ E_3=-y_3log\hat y_3=-y_3(z_3-log\sum_ie^{z_i}) \\ z_3=Vs_3 \\ s_3=tanh(Ux_3+Ws_2)