学习记录2-LSTM

什么是RNN

想要了解LSTM，那必须先了解一下RNN（Recurrent Neural Networks），循环神经网络。与传统神经网络模型对比（传统神经网络模型是从输入层到隐含层再到输出层 ，层与层之间是全连接的 ，每层之间的节点是无连接的 ），一个序列当前的输出与前面的输出也有关 。与前馈神经网络、卷积神经网络等不同之处在于，RNN具有一定的记忆暂存功能，模拟了大脑的记忆性。具体来说，就是把之前的输入产生的影响量化后与当前输入一起传递到网络中训练，具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中 。重点的讲就是 ，隐藏层之间的节点之间是有连接的 ，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出 。 因此，RNN可以有效解决上下文相关场景下的问题，如自然语言处理等等。
RNN示意图及时间维度上的展开图如下：

其中，Xi为当前输入，hi为A模块对Xi处理得到的输出。对于一个输入序列X来说，某一个Xi的值可能会影响到之后的时间或空间上的输出hj，训练过程就是要学习影响的量化关系。传统的RNN训练过程的损失函数采用BPTT算法得到，但是如果有多个输入时，那么就需要求一系列的导数并连乘起来，显然这种损失函数既加大了运算复杂度，又会引发梯度消失或梯度爆炸问题。

因此，传统RNN理论上可以实现，但是训练效果很不理想。研究人员又提出了LSTM算法来进行RNN的训练。

LSTM算法即长短期记忆网络&#x