人工智能实践：Tensorflow笔记17：LSTM

计算过程

讲的非常好：

我再复述：

三个门限，当前时刻的输入特征xt，上个时刻的短期记忆ht-1的函数。w，b为待训练的参数。都经过sigmoid激活函数，使得范围都在0-1之间，主要用于下面的公式。

然后是一个非常形象的过程：

以学习1-45页ppt为例，当前正在学习第45页的ppt，

1.长期记忆：长期记忆由过去学习的和当前学习的组成，在该例子中，过去的学习指的是，学习的1-44页ppt，现在的学习指的是，现在学习的第45页的ppt。

2.过去的学习你不可能全部记住，因此要乘以遗忘门f。

3.现在的学习是输入门乘以学习到的新知识。学到的新知识由什么表示呢？应该刚刚学习的44页的ppt和正在学习的45页的ppt综合得出的。

4.学到的1-45页的ppt，你想把它讲给同学，但你不能原分不动的讲出，你需要做的是从长期记忆中选择出来一部分讲，长期记忆的一部分乘以输出门，就是选出来的短期记忆啦！

--------------------------------------------------

选出来的短期记忆就是上面的ht，如果有多层是，第一层输出的ht就是第二层输入的xt。

---------------------------------------------------

用tf来实现：