Lstm基础学习

lstm

长短期记忆网络，是一种时间递归神经网络（是一种改进之后的循环神经网络），适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在原始RNN基础之上增加状态保存，来保存长期的状态。

输入

在某一时刻，每一个“细胞”又三个输入值：当前时刻网络的输入值，上一时刻的输出值，以及上一时刻单元状态。

输出

在某一时刻，lstm有两个输出值：当前时刻的输出值和当前时刻的状态，作为下一时刻的输入值。

遗忘门

决定了上一时刻的单元状态有多少保留到当前时刻

a< t-1>：t-1时刻的输出
x< t >：t时刻本层的输入
wf：变量的权重
bf：偏执项
Ff：介于0-1，1：完全保留，0：完全舍弃

输入门

决定了当前时刻网络的输入有多少保存到单元状态
tanh双曲正切激励函数和Fu共同决定什么样的新信存入状态中

最终通过遗忘门遗忘部分旧信息
确定什么样的信息放入状态中

输出门

控制单元状态有多少输出到 LSTM 的当前输出值

（引用图片说明）

门机制是让信息选择式通过的方法，通过sigmoid函数和点乘操作实现。sigmoid取值介于0～1之间，点乘则决定了传送的信息量（每个部分有多少量可以通过），当sigmoid取0时表示舍弃信息，取1时表示完全传输(即完全记住)。