Backpropagation Through Time:What it Does and How to Do it论文解读

论文发表于1990年，作者哈佛大学数学系毕业，
虽然作者写得很辛苦，但是呢，相关成果在当前并未成为主流，因为我们知道后面LSTM出来了嘛。
一句话概括这篇文章干了啥：

扯白了就是，对于上面图中这个考虑过往输入X(T-1),X(T-2)的RNN结构，作者给出了相关公式，
$$ne{t}_i(t)=\sum _{j=1}^{i-1}{W}_{ij}{x}_j(t)+\sum _{j=1}^{N+n}{W}_{ij}^{{}^{\prime }}{x}_j(t-1)+\sum _{j=1}^{N+n}{W}_{ij}^{{}^{\prime \prime }}{x}_j(t-2)$$
并且对于此类网络如何使用反向传播更新权重给出了自己的伪代码。
上面这个图什么意思呢？

当然了，github是2008年才出来的，所以也就没有代码。
但是我们后来都是使用LSTM的，所以这个论文看下大致思路就可以了。