RNN

简单RNN的Numpy实现

// RNN
import numpy as np

timesteps = 100 #	输入序列的时间步数
input_features = 32 #	输入特征空间维数
output_features = 64

inputs = np.random.random((timesteps,input_features))

state_t = np.zeros((output_features,)) #	初状态，全零向量

W = np.random.random((output_features,input_features)) #	随机权重矩阵
U = np.random.random((output_features,output_features))
b = np.random.random((output_features,))

successive_outputs = []
for input_t in inputs:
    output_t = np.tanh(np.dot(W,input_t) + np.dot(U,state_t) + b)
    
    successive_outputs.append(output_t)
    
    state_t = output_t #	更新网络的状态，用于下一个时间步    

final_output_sequence = np.stack(successive_outputs,axis=0)

• np.tanh：计算双曲正切值
• np.dot：向量点积和矩阵乘法
• numpy.stack(arrays, axis=0)：沿着新轴连接数组的序列。
  axis参数指定新轴在结果尺寸中的索引。例如，如果axis=0，它将是第一个维度，如果axis=-1，它将是最后一个维度。

RNN 是一个 for 循环，它重复使用循环前一次迭代的计算结果。
RNN 的特征在于其时间步函数。
本例中，最终输出是一个形状为 (timesteps, output_features) 的二维张量，其中每个时间步是循环在 t 时刻的输出。输出张量中的每个时间步 t 包含输入序列中时间步0~t 的信息，即关于全部过去的信息。因此，在多数情况下，你并不需要这个所有输出组成的序列，你只需要最后一个输出（循环结束时的 output_t），因为它已经包含了整个序列的信息。

上面 Numpy 的简单实现，对应一个实际的 Keras 层，即 SimpleRNN 层。

from keras.layers import SimpleRNN