对于之间的神经网络,各个输入信号之间没有联系,但对于现实中的一些场景,如语音处理,文字识别等,输入之间均有一点的联系,根据此应用场景,产生了LSTM(Long Short Term Memory)网络。
与BP神经网络相似,LSTM网络多了一个反馈,即将上一个时间的输出作为了下一个时间的输入,基本结构如下:
LSTM主要由输入门,输出门,忘记门控制。下图所示为其一个隐藏的结构,最下面g为输入信号,Input Gate为输入门,两个数值做乘法,即可对输入信号进行判断,让其进不进入后面的内容。Forget Gate为忘记门,使信号发生一定的衰减,Output Gate为输出门,控制输出信号。
其隐藏层计算如下: