pytorch实践:基于RNNCell函数构建RNN模型

文章目录


前言

在已经了解了RNN模型的基础上,我们应用RNNCell这个pytorch里面的封装函数,来设计一个简单的RNN模型。
我们模型的任务如下:我们现在的训练样本非常少(闹着玩一样),只有一个,输入是hello,输出是ohlol,我们希望设计一个模型,可以实现 hello->ohlol的转化功能。(是的,测试样本也是他)


一、代码

#hello->ohlol

#RNNCell
#Input hello 向量转换
#构造词典,one-hot向量 inputSize为4(字典长度)
#输出:四维的,变成分布

import torch
input_size=4
hidden_size=4
batch_size=1
idx2char=['e','h','l','o']
x_data=[1,0,2,2,3] #hello
y_data=[3,1,2,3,2] #ohlol

one_hot_lookup=[[1,0,0,0],
                [0,1,0,0],
                [0,0,1,0],
                [0,0,0,1]]
x_one_hot=[one_hot_lookup[x]for x in x_data]#查询
#改变维度
inputs=torch.Tensor(x_one_hot).view(-1,batch_size,input_size)
labels=torch.LongTensor(y_data).view(-1,1)

class Model(torch.nn.Module):
    def __init__(self,input_size,hidden_size,batch_size):
        super(Model, self).__init__()
        self.batch_size=batch_size
        self.input_size=input_size
        self.hidden_size=hidden_size
        self.rnncell=torch.nn.RNNCell(input_size=self.input_size,hidden_size=self.hidden_size)

    def forward(self,input,hidden):
        hidden=self.rnncell(input,hidden)
        return hidden

    def init_hidden(self):
        return torch.zeros(self.batch_size,self.hidden_size)

net=Model(input_size,hidden_size,batch_size)

criterion=torch.nn.CrossEntropyLoss()

optimizer=torch.optim.Adam(net.parameters(),lr=0.1)

for epoch in range(15):
    loss=0
    optimizer.zero_grad()
    hidden=net.init_hidden()
    print("predicted string:",end='')
    for input,label in zip(inputs,labels):
        hidden=net(input,hidden)#核心
        loss+=criterion(hidden,label)#加

        _,idx=hidden.max(dim=1)#找下标
        print(idx2char[idx.item()],end='')
    loss.backward()
    optimizer.step()
    print(',epoch[%d/15] loss=%.4f'%(epoch+1,loss.item()))

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值