TensorFlow学习记录：LSTM及其变种

1.普通LSTM

LSTM结构由Sepp Hochreiter教授和Jurgen Schmidhuber 教授于1997年提出，它本身就是一种特殊的循环结构，通过刻意的设计来避免长期依赖的问题，可以学习长期依赖信息。在一个整体的循环神经网络中，除了外部的RNN大循环（循环体是LSTM）外，还需要考虑LSTM本身单元“细胞”之间的自循环。这个自环与简单的带有tanh结构的循环体在RNN中的循环不同，单元“细胞”间的循环关系也展示了出来。

带有tanh结构循环体的简单RNN示意图：

LSTM结构示意图如下图所示：

LSTM本身循环体结构示意图:

参数名	说明
$C_{t-1}$	上一个时刻LSTM的细胞状态
$h_{t-1}$	上一个时刻LSTM的输出状态或隐藏状态
$x_t$	当前时刻的输入
linear	将$h_{t-1}$和$x_t$两个向量合并成一个更长的向量[$h_{t-1}$,$x_t$]
$\sigma$	sigmoid函数，用于控制需要忘记，增加或者输出哪些值
$f_t$	遗忘门的输出，$f_t$=$\sigma$($W_f$*[$h_{t-1}$,$x_t$]+$b_f$)
$i_t$	输入门的输出, i t i_{t} i