RNN中梯度消失和爆炸的问题公式推导

RNN

首先来看一下经典的RRN的结构图，这里 $x$ 是输入 $W$ 是权重矩阵 (RNN的权重矩阵是共享的所以都是W) $h$ 是隐藏状态 $y$是输出

RNN简单公式定义

$$h_t=W\ast f(h_{t-1})+W^{(hx)}\ast x_{[t]}$$
$$y_t=W^{(S)}\ast f(h_t)$$
其中，$h_t$表示 t 时刻的隐藏状态 $x_{[t]}$ 表示 t 时刻的输入 $y_t$ 表示 t 时刻的输出。我们记总体的error为 $E$ 那么 E E