学习笔记：循环神经网络的前向传播

循环神经网络，前向传播过程
通过一个可运行的完整代码来深入理解前向传播的过程
前提是首先了解过RNN或是看过想过的书籍
通过该代码的注释以及实现过程，可以对循环神经网络的前向传播有一个更好的理解

import numpy as np
#   定义状态的输入，x1=0.8，x2=0.1
x = [0.8, 0.1]
#   定义初始状态，即init_state与x1作为x1时刻的输入
init_state = [0.3, 0.6]
#   定义相邻时刻隐藏单元间的权重矩阵
w = np.asarray([[0.2, 0.4], [0.7, 0.3]])
#   定义从x（t）计算得到对应隐藏单元时用到的权重矩阵
u = np.asarray([0.8,0.1])
#   定义由x（t）来计算h（t）的偏置矩阵
b_h = np.asarray([0.2,0.1])
#   定义由h（t）来计算o（t）的权重矩阵
v = np.asarray([[0.5], [0.5]])
#   定义由h（t）来计算o（t）的偏置矩阵
b_o = 0.1
#   执行两个循环，即有两个状态
#   通过改变 x[0.8, 0.3]中元素的个数来更改循环的次数（状态数）
for i  in range(len(x)):
    #   计算激活之前的结果
    before_activation = np.dot(init_state, w) + x[i] * u + b_h
    #   计算激活之后的结果，同时用来计算该状态的输出，以及作为下一个时刻的输入
    state = np.tanh(before_activation)
    #   改变初始状态，以备下个状态使用
    init_state = state
    #   计算当前状态的输出
    final_output = np.dot(state, v) + b_o
    print('t%s state: %s' % (i+1, state))
    print('t%s output: %s \n' % (i+1,final_output))