双向长短时记忆循环神经网络

LSTM

传统的循环神经网络（RNN）能够得到的上下文信息范围很有限。这个问题就使得隐含层的输入对于网络输出的影响随着网络环路的不断递归而衰退。

为了解决这个问题，长短时记忆（LSTM）结构诞生了。与其说长短时记忆是一种循环神经网络，倒不如说是一个加强版的组件被放在了循环神经网络中。

LSTM单元能够很好的解决跨时间记忆以及梯度消失的问题。LSTM结构的形式化定义如下：

LSTM时刻j的状态由两个向量组成，分别是cj和hj，cj是记忆组件，hj是隐藏状态组件，三个门结构i、f和o，分别控制输入、遗忘和输出。z为更新候选项

LSTM论文传送门：https://ieeexplore.ieee.org/document/6795963

LSTM单元大致结构如下：

简单通俗的理解LSTM的整个运作流程：https://www.jianshu.com/p/4b4701beba92

双向循环神经网络

双向循环神经网络的基本思想是每一个输入序列正向和反向都经过一次循环神经网络，这样