基于双层Bi-LSTM的情感分析

LSTM介绍

长短期记忆网络（Long Short-Term Memory NetWork，LSTM）是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。将其按照时序展开如下图所示。

其中，$x_1,x_2,x_3...x_t$为每个时刻的输入，$c_1,c_2,c_3...c_t$为每个时刻的内部状态，$h_1,h_2,h_3...h_t$为每个时刻的外部状态。
循环单元结构如下图所示：

图片引自邱锡鹏教授所著《神经网络与深度学习》，本节内容参考此书。

在简单循环神经网络的基础上，LSTM主要改进在以下两个方面：

1.新的内部状态

LSTM引入一个新的内部状态c${}_t$∈R${}^D$，专门进行线性的循环信息传递，同时输出信息给隐藏层的外部状态h${}_t$∈R${}^D$，内部状态通过下面的公式计算：
其中，f${}_t$∈[0,1]${}^D$、i${}_t$∈[0,1]${}^D$和o t _t