TextRNN用于文本分类

1.单向RNN结构

上述公式中，权重矩阵U、V、W共享

2.双向RNN(Bidirection-RNN)结构

双向RNN的最终输出和中间隐藏状态的计算公式如下，正向计算与反向计算不共享权重:

3.LSTM(长短时记忆网络)

普通的RNN网络中只有S_t = f(Ux_t+WS_t-1)，这种结构无法捕捉到长文本中远距离相关的特征，同时隐藏层的状态对短期的输入非常敏感，也会产生梯度爆炸或梯度消失问题。LSTM的关键在于cell的状态(整个绿色图表示一个cell)和穿过cell的那条水平线。

如果只有上面的那条水平线是没办法实现添加或删除信息的，必须通过一种叫门(gates)的结构实现，门可以让信息选择性的通过，主要通过一个sigmoid的神经层和一个逐点相乘的操作实现的。

sigmoid层的输出是一个向量，向量的每个元素都在[0,1]之间，表示让对应的信息通过的权重。如：0表示不让信息通过，1表示让所有信息通过。

• (1)遗忘门(forget gate)
  在LSTM中的第一步决定我们会从细胞状态中遗忘什么信息，这个决定通过一个称为遗忘门层来实现的。该门会读取$h_{t-1}$和$x_t$,输出一个在[0,1]之间的数值给每个在细胞状态$C_{t-1}$中的数字，1表示“完全保留”，0表示“完全遗忘”。
  
  其中$h_{t-1}$表示上一个cell的输出,$x_t$表示当前细胞的输入，sigmoid表示激活函数
• (2)输入门(input gate)
  下一步决定让多少新的信息加入到cell状态中，实现这个需要包括两个步骤：首先，一个叫做"input gate layer"的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，即备选用来更新的内容 C ^