RNN之LSTM(3)

具体算法：
k表示输出单元，i表示隐藏层单元，$c^{_{j}}$代表第j个记忆单元块$c^{^{_{j}^{v}}}$代表$c^{_{j}}$的第v个单元，u，l，m代表任意单元，t表示一个给定输入序列的所有时刻。
门单元的激活函数：
$f(x)=\frac{1}{1+exp(-x)}$
h函数为：
$h(x)=\frac{2}{1+exp(-x)}-1$
g函数为：
$g(x)=\frac{4}{1+exp(-x)}-2$
前向传递：
第i个隐藏层单元的输入和激活函数：

$in^{_{j}}$的网络输入和激活函数：

$out^{_{j}}$的网络输入和激活函数：

网络的输入$net^{_{c_{j}^{v}}}(t)$,内部状态$s^{_{c_{j}^{v}}}$，记忆细胞块的第v个cell的输出激活函数$y^{_{c_{j}^{v}}}$：

输出单元k的输入和激活函数：

反向传播：
一旦error 离开记忆细胞或单元门，则会被截断，这样会避免出现循环的情况（有些错误通过输入或输入门理考某些cell后可能会通过输出或输出门再加入到该cell中）。这样就保证了constant error flow。
剩下公式推导待之后更新。