RNN、LSTM

最近在研究LSTM，遇到了一些好的知识点，记录下来分享给大家。
LSTM 的变种，如 Coupled LSTM、Peephole LSTM、GRU 等。
RNN到LSTM到GRU

如果说曾经一时无两的神经网络大法使得大家都将各种信息一股脑丢进去而等待结果，那么现在越来越多的研究反而开始将信息重新拆分出来，各司其职也许效果更好。

RNN的局限性:
RNN是有效的，但也有一定的局限性，主要在于：
原始RNN架构仅能捕获语言的一个方向上的依赖关系。基本上，在自然语言处理的情况下，它假定后面的单词对之前单词的含义没有影响。根据我们的语言经验，我们知道这肯定是不对的。
RNN也不能很好地捕捉长期的依赖关系，梯度消失的问题在RNN中再次出现。

这两种局限性导致了新型的RNN架构的产生，下面将对此进行讨论。
门控循环单元（GRU），它是对基本循环单元的一种修改，有助于捕获长期的依赖关系，也有助于解决消失梯度问题。

LSTM架构中，有一个更新门和一个忘记门，而不是像在GRU中那样只有一个更新门。

原始RNN简单介绍

使用机器学习技术处理输入为基于时间的序列或者可以转化为基于时间的序列的问题时，我们可以对每个时间步采用递归公式，如下，

其中xt 是在第t个时间步的输入，ht 是新状态量，蕴含着前t个时间步的信息，在处理完xt后产生；ht-1 是前一个状态量，蕴含着前t-1个时间步的信息，在处理完xt-1后产生；fW 是参数为W的从输入到输出的连接，在每个时间步都相同，反向传播对它的参数W进行优化。

对于每个时间步：

LSTM简单介绍
原始RNN只有一个时序状态h，而LSTM有两个分别是h和c。LSTM将原始RNN的每个时序块改成一个cell，对于每个cell输入分别是xt，ht-1，ct-1，输出是ct和ht 。结构图如下：

在LSTM的cell内部有四个门(gate)分别是f，i，g和o：
f：whether to erase cell
i：whether to write to cell
g：how much to write to cell
o：how much to reveal cell


值得参考的博文