【LSTM分类】麻雀算法优化注意力机制的卷积神经网络结合长短记忆神经网络SSA-CNN-LSTM-attention数据分类【含Matlab源码 3325期】

⛄一、开普勒算法优化注意力机制的卷积神经网络结合长短记忆神经网络KOA-CNN-LSTM-attention数据分类

1 长短记忆神经网络基本概念
长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。
原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。
长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。
新增加的状态c，称为单元状态(cell state)。我们把上图按照时间维度展开：
我们可以看出，在t时刻，LSTM的输入有三个：当前时刻网络的输入值x t x_tx
t、上一时刻LSTM的输出值h t − 1 h_{t-1}h t−1 、以及上一时刻的单元状态c t − 1 c_{t-1}c t−1​；
LSTM的输出有两个：当前时刻LSTM输出值h t h_th t 、和当前时刻的单元状态c t c_tc t 。注意x xx、h hh、c cc都是向量，如无特别说明，下文x,h,c不带下标时均表示向量。
LSTM的关键，就是怎样控制长期状态c。在这里，LSTM的思路是使用三个控制开关。