【深度学习】RNN（循环神经网络）之LSTM（长短时记忆）

1 循环神经网络（RNN）概念

循环神经网络，是一种线性序列结构，前一个神经元的结果会传递给后一个神经元。
递归神经网络，是一种层次结构，前一个神经元会影响后一个神经元，后一个神经元同样也会影响前一个神经元。循环神经网络是递归神经网络中的一种特殊情况，因为线性结构是层次结构的一种特例。

2 RNN结构

2.1 误差传播为什么容易消失或放大

1）如果采用线性激活函数，误差会被放大；
2）如果采用sigmoid、双曲正切tanh，误差经过多层之后消失。

数学公式推导，有待学习。

2.2

3 小知识

3.1 循环神经网络

循环神经网络是指，存在这样一种结构，即神经元的输出同时作为下一次该神经元的输入，形成循环。