LSTM RNN 理论

看了一篇发表在CSDN首页云计算栏目下的文章，不知道首页的文章怎么收藏和转载，所以我直接把文章地址贴在这里吧！

其实这篇没怎么看懂，只是对RNN有了个非常模糊的初步了解，先看一遍存下来，日后再结合其他资料深入地学习，相信慢慢就懂了！

《深入探究递归神经网络：大牛级的训练和优化如何修成？》http://www.csdn.net/article/2015-01-28/2823747

另外，这里引用一下从 http://blog.csdn.net/abcjennifer/article/details/27709915 看到的对RNN思想的简单描述：

RNN 的 general 架构及思想

RNN是处理时序数据的NN模型，旨在建立时序数据模型，做模拟/预测/分类等。

fig1. Architecture of RNN

如上图A所示为RNN的基本结构，简单的说RNN就是由input units (u), internal units (x), output units (y)组成的neural network. 其中internal units 层内会有连接形成环。Intuitively，这样做的目的是希望让网络下一时刻的状态与当前时刻相关，即，一个有记忆的网络。

展开！如图B，是在t-1, t, t+1时刻network的参数传递（仅展示出forward-propagation中节点间相互decision情况）

也就是说，与普通神经网络的区别在于，RNN的隐藏层不仅受到当前网络的上一层的输出的影响，同时还受到前一时刻网络中的隐藏层的影响，具有了记忆力。这是符合神经学原理的，认为神经元之间在不同时刻也是相互作用着的。