recurrent neural netword,lstm学习记录

参考：https://blog.csdn.net/zhaojc1995/article/details/80572098

1，rnn在时间层面上会存在梯度消失，原因是由于sigmoid和tan的导数都小于一导致。即使使用relu，则可能会遇到梯度爆炸问题。且过大的步长会导致学死，因为一旦全部为0则无法翻过来。

sigmoid导数值范围为(0,0.25]，反向传播时会导致“梯度消失“。tanh函数导数值范围【0，1】，相对好一点。 
sigmoid函数不是0中心对称，tanh函数是，可以使网络收敛的更好。

2,LSTM比rnn多了一个输出，即使cell的长期状态。而rnn的状态可以认为是短期的状态。