lstm引申的其他问题

lstm原理

引用自understanding lstm博文，然而lstm原文在1997年，在博文里也引用到了
明确来说，设计 LSTMs 主要是为了避免前面提到的 长时期依赖 （long-term dependency ）的问题。它们的本质就是能够记住很长时期内的信息，而且非常轻松就能做到。

stateful lstm

stateful原理知乎

标准lstm的记忆是在timesteps之间传递，在每次batch之间都状态重置。
stateful=T，在不同batch之间还传递状态，这尤其适用于长期时间序列，或样本之间存在顺序的。

stateful代码要点

顺序

如果用函数api：
在layer_input中指定batch_shape=c(batchsize,timesteps,features)，区别于标准lstm(samples,timesteps,features)
在layer_lstm中指定stateful=T
在fit中指定shuffle=F
batchsize:
train validation test的样本数都必须被batchsize整除。保证batch_input_shape,layer_lstm,fit,predict中的batch_size都是一致的指定。如果不能整除，请调整样本数量或者batchsize.
range in fit:
stateful=F，在每次batch后会重置状态。
stateful=T，在每次batch后会沿用上一次的状态。
range in fit 是为了在每次epoch后去重置状态。

batchsize ,iteration, epochs

1000个样本，batchsize=200:
一次batchsize遍历，需要5次iteration, 这才算完成一次epochs。
然后在进行epochs的参数迭代更新。