pytorch实现循环神经网络

一、循环神经网络原理

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络。

对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一  ，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经网络 [3]  。

循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势 [4]  。循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络（Convolutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。

 二、代码实现

 

class RNN(object):
    def __init__(self,input_size,hidden_size):
        super().__init__()

        self.W_xh = torch.nn.Linear(input_size, hidden_size) 
        self.W_hh = torch.nn.Linear(hidden_size, hidden_size)
    def __call__(self, x, hidden):
        return self.step(x, hidden)
    def step(self, x, hidden):

        h1 = self.W_hh(hidden)
        w1 = self.W_xh(x)
        out = torch.tanh(h1 + w1)
        hidden = self.W_hh.weight
        return out, hidden
  
rnn = RNN(20, 50)

input = torch.randn(32 , 20)

h_0 = torch.randn(32, 50) 

seq_len = input.shape[0]

for i in range(seq_len):
    output, hn = rnn(input[i, :], h_0)

print(output.size(), h_0.size())
#torch.Size([32, 50]) torch.Size([32, 50])

lstm = torch.nn.LSTM(10, 20,2)
input = torch.randn(5, 3, 10)
h0 = torch.randn(2, 3, 20)
c0 = torch.randn(2, 3, 20)
output, hn = lstm(input, (h0, c0))
print(output.size(), hn[0].size(), hn[1].size())

rnn = torch.nn.GRU(10, 20, 2)
input = torch.randn(5, 3, 10)
h_0= torch.randn(2, 3, 20)
output, hn = rnn(input, h0)
print(output.size(),hn.size())
torch.Size([5, 3, 20]) torch.Size([2, 3, 20])