python实现单层单向RNN

为了解torch.nn.RNN的算法过程，用python简单实现了一个单层单向的RNN：

# input：输入数据，形状为sequence_length*feature_size
# hidden_szie:隐藏层的特征数
# wih:输入层到隐藏层的权重值，形状为hidden_size*feature_size
# bih:输入层到隐藏的偏置值，形状为1*hidden_size
# whh:h[t-1]到h[t]的权重值，形状为hidden_size*hidden_size
# bhh：h[t-1]到h[t]的偏置值，形状为1*hidden_size
def tanh_RNN(input,hidden_size,wih,bih,whh,bhh):
        h=[]
        sequence_length=len(input)
        for i in range(sequence_length):
                tmp=[]
                if i==0:
                        h0_raw=np.dot(input[0],wih.T)+bih+bhh
                        print(input[0])
                        for x in h0_raw:
                                tmp.append(tanh(x))
                        h.append(tmp)        
                else:
                        input=np.dot(input[i],wih.T)+bih+bhh
                        # 这里注意对whh要用转置操作
                        ht_1=np.dot(h[i-1],whh.T)
                        for i in range(hidden_size):
                                tmp.append(tanh(input[i]+ht_1[i]))
                        h.append(tmp)
        return h 

可以用torch.nn.RNN中的结果来验证一下正确性：

import torch
import torch.nn as nn
input_size=5
hidden_size=3
num_layers=1
single_rnn=nn.RNN(input_size,hidden_size,num_layers,batch_first=True)
input=torch.randn(1,2,input_size)
print(single_rnn)
print(input)

# 获取初始化后的各个权重值及偏置值
print("input2hidden,weights=",single_rnn.weight_ih_l0)
print("single_rnn.bias_ih_l0=",single_rnn.bias_ih_l0)
print("single_rnn.weight_hh_l0=",single_rnn.weight_hh_l0)
print("single_rnn.bias_hh_l0=",single_rnn.bias_hh_l0)

output,h_n=single_rnn(input)
print("output=",output)

以上输出为：

tanh_RNN的表现：

基本相差无几

下面是一个完整的调用实例：

# sl*fs
input=np.array([[-0.7692,  1.7660, -0.1400, -0.1676,  0.5469],
         [-0.1650,  0.8947, -0.9094,  0.4510, -0.8920]])
# hs*fs         
wih=np.array([[ 0.4630,  0.4379,  0.4532,  0.5622,  0.4481],
        [ 0.3023, -0.2723, -0.1808,  0.0313, -0.2247],
        [ 0.4271, -0.3673, -0.2805, -0.3349, -0.1799]])
# 1*hs        
bih=np.array([-0.4720, -0.0638,  0.5293])
# hs*hs
whh=np.array([[ 0.1496,  0.5724, -0.4582],
        [-0.2243, -0.5099, -0.5595],
        [-0.4785, -0.3711, -0.1362]])
# 1*hs        
bhh=np.array([-0.5698, -0.0084,  0.0359])
print(tanh_RNN(input,hidden_size,wih,bih,whh,bhh))