深度学习(五) 循环神经网络基础

深度学习(五) 循环神经网络基础

5.1 RNN
RNN对于时序数据进行建模，上一刻的输出回作为下一时刻的输入。
更新方程：

$$\begin{align} &h^t=tan(Wh^{(t-1)}+Ux^{(t)})\notag\\ &0^t=c+Vh^{(t)}\tag{5.1.1} \end{align}$$
RNN存在的问题：
BP through time 反向传播的时候 $W$计算了很多次，会导致梯度消失或者爆炸$W$最大的特征值 > 1梯度爆炸 <1 梯度消失 为矩阵高次幂导致的

5.2 LSTM
特点：
  增加遗忘机制。例如当一个场景结束是，模型应该重置场景的相关信息，例如位置、时间等。而一个角色死亡，模型也应该记住这一点。所以，我们希望模型学会一个独立的忘记/记忆机制，当有新的输入时，模型应该知道哪些信息应该丢掉。
  增加保存机制。当模型看到一副新图的时候，需要学会其中是否有值得使用和保存的信息
  所以当有一个新的输入时，模型首先忘掉哪些用不上的长期记忆信息，然后学习新输入有什么值得使用的信息，然后存入长期记忆中
  把长期记忆聚焦到工作记忆中。最后，模型需要学会长期记忆的哪些部分立即能派上用场。不要一直使用完整的长期记忆，而要知道哪些部分是重点。
更新公式：

$$\begin{align} &i^t=\sigma(W_ih_{t-1}+U_ix_t+b_i)\notag\\ &o^t=\sigma(W_oh_{t-1}+U_ox_t+b_o)\notag\\ &f^t=\sigma(W_fh_{t-1}+U_fx_t+b_f)\notag\\ &p^t=tanh(W_ph_{t-1}+U_px_t+b_p)\notag\\ &c^t=f_t\odot c_{t-1}+i_t\odot p_t\notag\\ &h^t=o^t\odot tanh(c_t)\tag{5.1.2}\\ \end{align}$$
LSTM用加和的方式取代了乘积，解决梯度消失问题

5.3 GRU
忘记门和输入门合成了一个单一的 更新门，减少参数
更新公式：

$$\begin{align} &z^t=\sigma(W_zh_{t-1}+U_zx_t+b_z)\notag\\ &r^t=\sigma(W_rh_{t-1}+U_rx_t+b_r)\notag\\ &p^t=tanh(W_p(r_t\odot h_{t-1})+U_px_t+b_p)\notag\\ &h^t=(1-z_t)\odot h_{t-1}+z_t\odot p_t\tag{5.1.3}\\ \end{align}$$