什么是RNN
RNN:多层反馈RNN(Recurrent neural Network、循环神经网络)神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。——百度百科
下面我们看看抽象出来的RNN的公式:
ht=θϕ(ht−1)+θxxt
yt=θyϕ(ht)
可以发现每次RNN都要使用上一次中间层的输出 ht
传统RNN的缺点—梯度消失问题(Vanishing gradient problem)
我们定义loss function为 E ,那么梯度公式如下:
∂Et∂θ=∑tk=1∂Et∂yt∂yt∂ht∂ht∂hk∂