Pytorch中的RNN，RNN的计算流程

Pytorch中的RNN

本文希望通过对RNN中的计算流程分析，进一步熟悉RNN的结构和原理。

原始程序

首先构建一个简单的RNN，一层，输入向量长度为3，隐藏变量长度为2，
并随机生成初始参数h₀，先后打印h₀，output，hn以及rnn中的所有参数

import torch
import torch.nn as nn
A = torch.tensor([
    [1,2,3],[2,3,4],[3,4,5]
],dtype=torch.float).unsqueeze(0) # [1,3,3] [batch_size, seq_len, feature_len]
# 注意，这里的batch_first = True非常关键，一定要看清楚，建议去看一下pytorch官方文档，
# 如果不设置是默认为False的，A的第一维度会被认为是序列长度，第二维度才是batch_size!!!
rnn = nn.RNN(input_size=3,hidden_size=2,num_layers=1,batch_first=True)
# h0的size是(1,1,2),即[num_layers,batch_size,hidden_size]
h0 = torch.rand((1,1,2),dtype=torch.float)
print("h0",h0)
output,hn = rnn(A,h0)
print(output)
print(hn)
for k,v in rnn.named_parameters():
    print("k:",k)
    print("v:",v)
    print("-"*50)

程序的输出如下：

可以发现output的size是[1,3,2],即[batch_size,seq_len,feature_len],hn的size是[1,1,2],即[num_layers,batch_size,hidden_size],从这里可以看到，output输出的是最后一层的每一个时刻的隐藏状态，hn输出的是最后一个时刻每一层的隐藏状态。因为这个例子是一层，三个时间戳，所以hn是output的对应最后时刻的那一部分。
此外每一层的参数就是两个矩阵W_hh和W_ih以及两个偏置B_hh和B_ih

验证

把刚才的输出在一个新的程序中记录下来，用于验证RNN的计算过程。

import torch
x1 = torch.asarray([1.0,2.0,3.0])
x2 = torch.asarray([2.0,3.0,4.0])
x3 = torch.asarray([3.0,4.0,5.0])
h0 = torch.asarray([0.5359, 0.0779])
wih = torch.asarray([[-0.4972,  0.3496,  0.5487],
        [-0.4084, -0.4077,  0.6224]])
whh = torch.asarray([[-0.3578,  0.4884],
        [ 0.0690,  0.3947]]
)
bih = torch.asarray([-0.5241, -0.7034])
bhh = torch.asarray([-0.1865, -0.3288])

h1 = torch.tanh(torch.matmul(x1,wih.transpose(0,1))+bih
      +torch.matmul(h0,whh.transpose(0,1))+bhh)
h2 = torch.tanh(torch.matmul(x2,wih.transpose(0,1))+bih
      +torch.matmul(h1,whh.transpose(0,1))+bhh)
h3 = torch.tanh(torch.matmul(x3,wih.transpose(0,1))+bih
      +torch.matmul(h2,whh.transpose(0,1))+bhh)
print(h1)
print(h2)
print(h3)

其中的计算过程来自Pytorch官方文档

打印结果如下：

可以发现和之前RNN输出的output是一样的：

从这里我们就对RNN的计算流程有了更清晰的认识，如果是多层的RNN，那么前一层的output作为下一层的输入，每一层的h₀都是提前给出的，并借此计算h1到hn。