keras中lstm参数_LSTM之Keras中Stateful参数

一、Sateful参数介绍

在Keras调用LSTM的参数中，有一个stateful参数，默认是False，也就是无状态模式stateless，为True的话就是有状态模式stateful，所以这里我们就归为两种模式：

有状态模型(stateful LSTM)

无状态模型(stateless LSTM)

那两者到底是什么区别呢，怎么使用呢？

二、区别

stateful LSTM

除了正常的单个sample内部时间步之间的状态互相传递外(这个是LSTM的基本功能)，sample之间的状态还能互相传递。但是需要确定batch_size大小，传递的时候是前一个batch的第i个sample最终输出状态，传递给后一个batch的第i个sample，作为其状态的初始化值。以“解放军第72集团军某旅500名抗洪子弟兵撤离安徽铜陵枞阳县，赶赴合肥庐江县继续抗洪。当地百姓冒着大雨追着驶出的车辆，递上自家的莲蓬、葡萄、熟鸡蛋等食物，送别子弟兵。”为例子，第一句话为一个sample，第二句话为第二个sample，每个sample内部的word为一个时间步，很明显前后两个sample是相互关联的。如果设置batch_size=1,则第一句话最终输出状态(即最后一个word的状态输出)，就可以传递给第二句话作为其初始状态值。

优点：后面的语句有了更合理的初始化状态值，显然会加快网络的收敛，所以需要更小的网络、更少的训练时间。

缺点：每一个epoch后，要重置一下状态，因为训练一遍了，状态不能循环使用，要从头开始。

使用注意事项：调用fit() 时指定 shuffle = False，要保证sample之间的前后顺序；可以使用 model.reset_states()来重置模型中所有层的状态，也可使用layer.reset_states()来重置指定有状态 RNN 层的状态。

stateless LSTM

stateless就是与stateful相反了，就是sample之间没有前后状态传递的关系，输入samples后，默认就会shuffle，可以说是每个sample独立，适合输入一些没有关系的样本。

三、问答

1、在Keras中stateless LSTM中的stateless指的是?

注意，此文所说的stateful是指的在Keras中特有的，是batch之间的记忆cell状态传递。而非说的是LSTM论文模型中表示那些记忆门，遗忘门，c，h等等在同一sequence中不同timesteps时间步之间的状态传递。假定我们的输入X是一个三维矩阵，shape = (nb_samples, timesteps, input_dim)，每一个row代表一个sample，每个sample都是一个sequence小序列。X[i]表示输入矩阵中第i个sample。步长啥的我们先不用管。当我们在默认状态stateless下，Keras会在训练每个sequence小序列(=sample)开始时，将LSTM网络中的记忆状态参数reset初始化(指的是c，h而并非权重w)，即调用model.reset_states()。

2、为啥stateless LSTM每次训练都要初始化记忆参数?

因为Keras在