![v2-ecbfefc4649580e40831479aff626c50_1440w.jpg?source=172ae18b](http://img-03.proxy.5ce.com/view/image?&type=2&guid=5efd4017-e32e-eb11-8da9-e4434bdf6706&url=https://pic1.zhimg.com/v2-ecbfefc4649580e40831479aff626c50_1440w.jpg?source=172ae18b)
在实际应用中,最有效的序列模型称为门控RNN (gated RNN)。包括基于长短期记忆(long short-term memory LSTM)和基于门控循环单元(gated recurrent unit GRU)的网络。
就像渗透单元一样,门控RNN的想法也是基于生成通过时间的路径,其中导数既不消失也不发生爆炸,渗漏单元通过手动选择常量的连接权重或参数化的连接权重来达到这一目的,而门控RNN将其推广为在每个时间步都可能改变的连接权重。
本文主要介绍的就是门控RNN中的LSTM。LSTM就是一种特殊的RNN,它通过刻意的设计来避免长期依赖问题,从而学习长期依赖信息。通俗来讲就是说我们可以用LSTM处理时间序列数据中间隔和延迟较长的重要事件。不过既然LSTM是特殊的RNN,那么肯定是需要一定的RNN基础,关于RNN的详细介绍可以去看TensorFlow 学习之循环神经网络(RNN),下图中展示的即为普通的RNN模型(没有输出)。
![v2-31c1cc44ad9888d7765097609ca546ba_b.jpg](http://img-01.proxy.5ce.com/view/image?&type=2&guid=5efd4017-e32e-eb11-8da9-e4434bdf6706&url=https://pic3.zhimg.com/v2-31c1cc44ad9888d7765097609ca546ba_b.jpg)
那数据究竟是如何处理的呢,我们把模型图再细致的展开一下,可以看到下图
![v2-942ac0a533ac107b5565636a2837929d_b.jpg](http://img-03.proxy.5ce.com/view/image?&type=2&guid=5efd4017-e32e-eb11-8da9-e4434bdf6706&url=https://pic2.zhimg.com/v2-942ac0a533ac107b5565636a2837929d_b.jpg)
在图中我们可以看到实际的运算流程,状态