什么是LSTM？

01

引言

在上一次的学习中，我们提到了RNN和我们人一样，有记忆的能力，但是它只有短期记忆的能力，在一些任务处理上RNN的表现并没有那么聪慧！！！

面对这个问题，该怎么办呢？

你望着我，我望着你，大眼睛瞪小眼镜！！想出来啥了嘛？

以前背诵课文的时候有没有发现，总是背了这句忘了前面一句！！

这其实是因为人类的记忆是有取舍的，就像你永远记不住女朋友每时每刻的表情、记不住她说的每一句话一样（我只是说说，可能你很用心，能记住哈）。  

当然，大多数男生应该还是蛮用心的，他会选择性的记住重点，例如女朋友的生日、电话号码、爱好等等等等等，好多好多重点......

---

02

什么是LSTM

人工智能是一个爱学习的孩子，它就参考了这个记忆机制，发明了一种类比人类记忆的网络记忆方法---LSTM(Long short-term memory,长短期记忆)。

  

它在RNN基础上改造了小盒子（什么是小盒子，看我前文），找到了“门”这种机制。这里的门，就是用来决定信息是否保留、如何保留的小开关，它的数值是在0到1之间，1代表完全保留，0就是完全丢掉。

这个盒子设有三个门：遗忘门、输入门、输出门！！！

其中遗忘门，决定盒子存储哪些信息，也就是丢掉哪些不重要的信息；输入门决定当前网络的信息有多少要被保存到小盒子里，也就是记住哪些新东西；输出门决定多大程度的输出小盒子的信息。

既能通过输入门对当前网络状态进行了解，也能通过遗忘门留下过往的重要信息。这就是LSTM，通过改变小盒子的结构，LSTM还有很多变体---MGU、SRU.不过最受欢迎的还是门控制循环单元GRU。

GRU只有两个门，更新门是遗忘门和输入门的结合体，决定丢弃哪些旧信息，添加哪些新信息。重置门决定写入多少上一时刻网络的状态，用来捕捉短期记忆，结构更加简洁、高效。

好了，本节课到此位置，想一起学习与了解AI和编程的请通过以下方式与小编沟通：

微信公众号：AI future

微  信  号：17378203668

抖  音  号：846689074

CSDN：小ai同学1号