LSTM-RNN 前向传播原理及 Python 实现

1.Forward propagation for the basic Recurrent Neural Network

1.1 - RNN cell

1. 计算隐藏状态 : $a^{\langle t \rangle} = \tanh(W_{aa} a^{\langle t-1 \rangle} + W_{ax} x^{\langle t \rangle} + b_a)$.
2. 使用新的隐藏状态 $a^{\langle t \rangle}$, 计算预测值 $\hat{y}^{\langle t \rangle} = softmax(W_{ya} a^{\langle t \rangle} + b_y)$.
3. 在缓存中保存 (a⟨t⟩,a⟨t−1⟩,x⟨t⟩,parameters) ( a ⟨ t ⟩ , a ⟨ t − 1 ⟩