LSTM中隐层神经元的传播机制

相较于RNN，LSTM只是改变了隐含层中神经元在不同时刻的传播机制

将隐层某个神经元看成一个cell, 这个cell有3个输入，上一个时刻的隐层某神经元的保留状态$C_{t-1}$,上一个时刻的隐层某神经元输出的传递信息$h_{t-1}$, 当前时刻的样本$X_t$, 该cell由3个gate(forget, input, output)控制。

一、通过忘记门决定从cell中丢失什么信息：

$f_t=sigmoid(W_{fh}h_{t-1}+W_{fx}X_t+b_f)$

二、 通过输入门决定什么样的新信息被存放在cell中：

决定什么值将要更新：
$i_t=sigmoid(W_{ih}h_{t-1}+W_{ix}X_t+b_i)$

创建新的候选值向量：
$\widetilde{C_t}=tanh(W_{ch}h_{t-1}+W_{cx}X_t+b_c)$

确定更新信息：
$C_t=f_t*C_{t-1}+i_t*\widetilde{C_t}$

三、通过输出门决定输出什么：

决定哪个部分将被输出：
$o_t=sigmoid(W_{oh}h_{t-1}+W_{ox}X_t+b_o)$

确定输出部分：
$h_t=o_t*tanh(C_t)$

本文参考资料http://www.open-open.com/lib/view/open1440843534638.html