LSTM学习

参考链接：https://www.jianshu.com/p/9dc9f41f0b29

LSTM python实现：https://www.jb51.net/article/166333.htm

激活函数

激活函数是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。

LSTM

tanh函数 是为了克服Sigmoid的不对原点对称的问题，

SIGMOD函数它有两个优点，一个是可以将输入缩放到（0， 1）这个范围，另外一个是符合神经学的放电率，也是因为数值在0~1之间；但是SIGMOD函数权值变化的方向就被L函数（损失函数）的形式限定下来了
LSTM 拥有三个门，来保护和控制细胞状态，有四个神经网络层。