参考链接:https://www.jianshu.com/p/9dc9f41f0b29
LSTM python实现:https://www.jb51.net/article/166333.htm
激活函数
激活函数是用来加入非线性因素的,提高神经网络对模型的表达能力,解决线性模型所不能解决的问题。
LSTM
tanh函数 是为了克服Sigmoid的不对原点对称的问题,
SIGMOD函数它有两个优点,一个是可以将输入缩放到(0, 1)这个范围,另外一个是符合神经学的放电率,也是因为数值在0~1之间;但是SIGMOD函数权值变化的方向就被L函数(损失函数)的形式限定下来了
LSTM 拥有三个门,来保护和控制细胞状态,有四个神经网络层。