用代码实现RNN(循环神经网络)

在这次的笔记中,我们以自然语言处理中二分类的例子,用pytorch框架将RNN实现一遍。
结核如下图:
这里写图片描述

首先手动实现:

class RNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(RNN, self).__init__()
        self.hidden_size = hidden_size
        self.input_size = input_size
        # embedding layer
        self.embed = nn.Embedding(input_size, hidden_size)
        #hidden layer, attention to the size of input: 2*hidden_size
        self.i2h = nn.Linear(2*hidden_size, hidden_size)
        #output layer
        self.i20 = nn.Linear(hidden_size, output_size)
        self.softmax = nn.LogSoftmax()
    def forward(self, input, hidden):
        x = self.embed(input)
        combined = torch.cat((x,hidden),1)
        hidden = self.i2h(combined)
        output = self.i2o(hidden)
        return output, hidden
    def initHidden(self):
        return Variable(torch.zeros(self.input_size, self.hidden_size))

下面我们再用pytorch里原有的层来实现:

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size, num_layers=1):
        super(SimpleRNN,self).__init__()
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.embedding = nn.Embedding(input_size, hidden_size)
        self.rnn = nn.RNN(hidden_size, hidden_size, num_layers,batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)
        self.softmax = nn.LogSoftmax()
    def forward(self, input, hidden):
        x = self.embedding(input)
        output, hidden = self.rnn(x,hidden)
        output = output[:,-1,:]# get the lastest ouput
        output = self.fc(output)
        output = self.softmax(output)
        return output,hidden
  • 1
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值