【深度学习】rnn and lstm

推荐一篇博文，讲rnn和lstm非常通俗易懂。

https://www.jianshu.com/p/9dc9f41f0b29

下边是我的一些理解与总结，欢迎批评指正哦～

一直好奇rnn一个一个生成句子里边那么多字是怎么更新weight的，尤其是前半段只管输入，后半段只管输出。其实是生成一句话之后统一计算每一个字的loss，然后一起更新的。

lstm设计的巧妙之处在于解决了rnn短时记忆问题。

lstm有一个信息通路，用于将之前的信息直接传输到后边。在每一个小模块里，又会判断哪一部分需要记住，哪一部分需要忘记然后，再结合这一次网络输出的信息继续汇总到上边的通路中。上边的通路不断吸收每一个输入和输出的信息，判断记住或者遗忘的部分，留下有用的去掉没有用的，得到最终的结果。