RNN神经网络短时记忆
RNN神经网络与全连接神经网络类似,只不过RNN神经网络每一层都用同一组权重参数传递信息。
前向传递经过许多节点后,得到一个误差值,而在反向传播过程中,误差在每一步都会乘一个参数W,如果参数W<1,那经过不断与误差累乘,传到初试时间的时候,就可能会变成一个接近于0的数,所以对于初始时刻,误差就相当于消失了,这就是所谓的梯度消失,或者叫梯度离散;
反之,如果W>1,经过不断与误差累乘,就会得到一个特别大的数,RNN网络会被撑死,这就是梯度爆炸。
这就是普通的RNN无法回忆起久远记忆的原因。
激活函数
Tanh
激活函数 Tanh 用于帮助调节流经网络的值, tanh 函数将数值始终限制在 -1 和 1 之间。
Sigmoid
Sigmoid 把值压缩到 0~1 之间,这样的设