RNN&LSTM学习笔记

深度学习-RNN&LSTM学习笔记

RNN中的关键词：

时序数据：有前后依赖关系的数据序列。例如：对一个包含 3 个单词的语句，那么展开的网络便是一个有 3 层神经网络，每一层代表一个单词。

循环：RNN 之所以称为循环神经网路，是因为一个序列当前的输出与前面的输出有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，也就是说隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

参数共享：虽然RNN在每一步都在做相同的事，那就是更新共享的记忆单元cell，只是输入不同，大大降低了网络需要学习的参数。CNN 和 RNN 的共享参数:我们需要记住的是，深度学习是怎么减少参数的，很大原因就是参数共享，而CNN 是在空间上共享参数，RNN 是在时间上（顺序上）共享参数(cell记忆单元)

长序依赖问题：当前的输入需要依赖很久之前的序列，由于参数在传递的过程中会出现梯度消失或者梯度爆炸的问题，使得普通的RNN很难解决这类问题。

隐藏层：是网络的记忆单元。根据当前输入层的输出与上一步隐藏层的状态进行计算。其中 f 一般是非线性的激活函数，如 tanh 或 ReLU