1、LSTM结构分析:
说明:LSTM只是RNN的一种,只是将sigmoid神经元替换成LSTM单元。整体上的结构和前向全连接神经网络类似,也会有输入层结点,输出层结点。上图的结构就是有4个输入层结点,2个single-cell LSTM memory blocks,5个输出层结点。
2、符号说明:
3、前向过程:
说明:前向传播过程,可以看出,对于输入门,忘记门,输出门的建模方式,其实本质上都是一样的。对<当前时刻的输入,上一时刻隐层的输出,上一时刻的状态>进行线性加权,然后通过激活函数进行非线性变换。跟sigmoid神经元的建模方式,差别在于引入了上一时刻的信息。
4、反向传播过程
说明:下面对以上各式分别进行推导:
LSTM的前向过程,可以对线性的计算模块进行优化: