【BiLSTM分类】白鲸算法优化双向长短期记忆神经网络BWO-BiLSTM数据分类预测【含Matlab源码 2495期】

⛄一、LSTM和BiLSTM神经网络结构及原理介绍

长短期记忆网络(Long short-term memory, LSTM)实质上可以理解为一种特殊的RNN,主要是为了解决RNN网络在长序列训练过程中发生梯度消失和梯度爆炸的问题。相比于RNN,LSTM主要是引入了细胞形态(cell state)用于保存长期状态，而LSTM的关键就在于如何控制长期状态c,从而引用了控制门的机制，该机制可以去除或者增加信息到细胞状态的能力。通过sigmoid函数将门输出为[0,1]的实数向量。当门输出为0时，乘以该向量的任何向量都将得到0向量，即判定为不能通过。当输出为1时，乘以任何向量都不会改变其原值，即可以通过。神经元中加入了输入门(input gate),遗忘门(forget gate),输出门(output gate),以及内部记忆单元(cell),其网络结构图如图1所示。

图1 LSTM网络结构
在LSTM神经网络训练学习的过程中，第一步是由遗忘门(forget gate)决定从细胞状态中丢弃哪些信息。该步骤会读取和输入数据点乘计算得到一个输出值，其决定了上一时刻的状态有多少会保留到当前时刻。计算公式如式(1)所示。
ft=σ(Wf×[ht-1,xt]&#