深度学习之循环神经网络

参考资料

---

1、Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs
大牛写的文章，还是值得一看的，这是关于RNN第一部分的网址，文章里面也给出了其他部分的网址，并且里面也给出一些相应知识点的参考地址，例如SGD等。
在此也给出相应的参考地址：

• Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano
• Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients
• Implementing a GRU/LSTM RNN

2、Understanding LSTM Networks
这篇文章也是大神之作，被很多人引用过，网上也有很多翻译以及解析版本，可以自行百度，不过个人建议先自己读一下原文比较好。

这篇文章一步步的解释了LSTM中涉及到的“gates”，并且还简略的介绍了集中LSTM的变体，比如GRU，文章的最后，也给出了一些其他变体以及RNN深入研究的相关论文，比如attention机制，本文推荐阅读。

3、关于tf.nn.dynamic_rnn()的参数说明
应该是源码的参数说明