用pytorch实现简易RNN

最新推荐文章于 2024-06-13 11:49:10 发布
最新推荐文章于 2024-06-13 11:49:10 发布
阅读量3.4k 收藏 39
点赞数 9
分类专栏： pytorch学习 文章标签： python 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/117457263
版权

1 导入库函数

import torch
import numpy as np
import matplotlib.pyplot as plt

2 设置超参数

TIME_STEP=10
INPUT_SIZE=1
HIDDEN_SIZE=32
LR=0.02

3  定义RNN 

class RNN(torch.nn.Module):
    def __init__(self):
        super(RNN,self).__init__()
        
        self.rnn=torch.nn.RNN(
            input_size=INPUT_SIZE,
            hidden_size=HIDDEN_SIZE,
            num_layers=1,
            batch_first=True)
#设置batch_first为True,那么输入数据的维度为(batch_size,time_step,input_size)
#如果不设置这个值，或者设置为False，那么输入数据的维度为(time_step,batch_size,input_size)

        self.out=torch.nn.Linear(HIDDEN_SIZE,1)
    #将隐藏层输出转化为需要的输出
        
    
    def forward(self,x,h_state):
        #因为在RNN中，下一个时间片隐藏层状态的计算需要上一个时间片的隐藏层状态，所以我们要一直传递这个h_state
        #x (batch_size,time_step,INPUT_SIZE)
        
        r_out,h_state=self.rnn(x,h_state)
        #h_state也要作为RNN的一个输入和一个输出
        #r_out：(batch_size,time_step,HIDDEN_SIZE)
        #h_state：(batch_size,time_step,HIDDEN_SIZE)
        
        outs=[]
        
        for time_step in range(r_out.size()[1]):
            outs.append(self.out(r_out[:,time_step,:]))
            #每一个要被self.out运算的元素[batch_size,1,HIDDEN_SIZE]
            #每个计算完，被append到outs的元素[batch_size,1,1]
        return torch.stack(outs,dim=1),h_state
    #返回的第一个元素[batch_size,time_step,1]
    #torch.stack函数的维度和axis不一样，dim=1的意思是在第一个维度处叠加
    
rnn=RNN()
print(rnn)
'''
RNN(
  (rnn): RNN(1, 32, batch_first=True)
  (out): Linear(in_features=32, out_features=1, bias=True)
)
'''

或者foward函数也可以这么写：

class RNN(torch.nn.Module):
    def __init__(self):
        super(RNN,self).__init__()
        
        self.rnn=torch.nn.RNN(
            input_size=INPUT_SIZE,
            hidden_size=HIDDEN_SIZE,
            num_layers=1,
            batch_first=True)
#设置batch_first为True,那么输入数据的维度为(batch,time_step,input_size)
#如果不设置这个值，或者设置为False，那么输入数据的维度为(time_step,batch,input_size)

        self.out=torch.nn.Linear(HIDDEN_SIZE,1)
        
   
    def forward(self,x,h_state):
        r_out,h_state=self.rnn(x,h_state)
         #在此之前的部分不动
        
        r_out=r_out.view(-1,HIDDEN_SIZE)
        out=self.out(r_out)
        out=out.view(-1,TIME_STEP,1)
        return(out,h_state)
    
rnn=RNN()
print(rnn)

4 设置优化器和损失函数

optimizer=torch.optim.Adam(rnn.parameters(),lr=LR)
loss_func=torch.nn.MSELoss()

5 训练RNN

我们这里希望用sin函数预测cos函数

h_state=None

for step in range(100):
    start=step*np.pi
    end=(step+1)*np.pi
    
    steps=np.linspace(start,end,TIME_STEP,dtype=np.float32)
    #这里dtype这一部分一定要加，不然的话会报错，RuntimeError: expected scalar type Double but found Float
    
    x_np=np.sin(steps).reshape(1,TIME_STEP,INPUT_SIZE)
    y_np=np.cos(steps).reshape(1,TIME_STEP,1)
    #目标：用sin预测cos
    
    x=torch.from_numpy(x_np)
    y=torch.from_numpy(y_np)
    
    prediction,h_state=rnn(x,h_state)
    #每一组input，都对应了一个h_state和一个prediction
    
    h_state=h_state.data
    #将对应的h_state向后传
    
    loss=loss_func(prediction,y)
    
    optimizer.zero_grad()
    #清空上一步的参与更新参数值
    
    loss.backward()
    #误差反向传播，计算参数更新值
    
    optimizer.step()
    #将参数更新值施加到rnn的parameters上
    
    if(step % 10==0):
        plt.plot(steps,prediction.data.numpy().flatten(),'g*')
        plt.plot(steps,y_np.flatten(),'r-')
        plt.show()

6 实验结果

一开始

最终

7 整体函数

import torch
import numpy as np
import matplotlib.pyplot as plt

TIME_STEP=10
INPUT_SIZE=1
HIDDEN_SIZE=32
LR=0.02

class RNN(torch.nn.Module):
    def __init__(self):
        super(RNN,self).__init__()
        
        self.rnn=torch.nn.RNN(
            input_size=INPUT_SIZE,
            hidden_size=HIDDEN_SIZE,
            num_layers=1,
            batch_first=True)
#设置batch_first为True,那么输入数据的维度为(batch_size,time_step,input_size)
#如果不设置这个值，或者设置为False，那么输入数据的维度为(time_step,batch_size,input_size)
 
        self.out=torch.nn.Linear(HIDDEN_SIZE,1)
    #将隐藏层输出转化为需要的输出
        
    
    def forward(self,x,h_state):
        #因为在RNN中，下一个时间片隐藏层状态的计算需要上一个时间片的隐藏层状态，所以我们要一直传递这个h_state
        #x (batch_size,time_step,INPUT_SIZE)
        
        r_out,h_state=self.rnn(x,h_state)
        #h_state也要作为RNN的一个输入和一个输出
        #r_out：(batch_size,time_step,HIDDEN_SIZE)
        #h_state：(batch_size,time_step,HIDDEN_SIZE)
        
        outs=[]
        
        for time_step in range(r_out.size()[1]):
            outs.append(self.out(r_out[:,time_step,:]))
            #每一个要被self.out运算的元素[batch_size,1,HIDDEN_SIZE]
            #每个计算完，被append到outs的元素[batch_size,1,1]
        return torch.stack(outs,dim=1),h_state
    #返回的第一个元素[batch_size,time_step,1]
    #torch.stack函数的维度和axis不一样，dim=1的意思是在第一个维度处叠加
    
rnn=RNN()
print(rnn)
'''
RNN(
  (rnn): RNN(1, 32, batch_first=True)
  (out): Linear(in_features=32, out_features=1, bias=True)
)
'''


optimizer=torch.optim.Adam(rnn.parameters(),lr=LR)
loss_func=torch.nn.MSELoss()


h_state=None
 
for step in range(100):
    start=step*np.pi
    end=(step+1)*np.pi
    
    steps=np.linspace(start,end,TIME_STEP,dtype=np.float32)
    #这里dtype这一部分一定要加，不然的话会报错，RuntimeError: expected scalar type Double but found Float
    
    x_np=np.sin(steps).reshape(1,TIME_STEP,INPUT_SIZE)
    y_np=np.cos(steps).reshape(1,TIME_STEP,1)
    #目标：用sin预测cos
    
    x=torch.from_numpy(x_np)
    y=torch.from_numpy(y_np)
    
    prediction,h_state=rnn(x,h_state)
    #每一组input，都对应了一个h_state和一个prediction
    
    h_state=h_state.data
    #将对应的h_state向后传
    
    loss=loss_func(prediction,y)
    
    optimizer.zero_grad()
    #清空上一步的参与更新参数值
    
    loss.backward()
    #误差反向传播，计算参数更新值
    
    optimizer.step()
    #将参数更新值施加到rnn的parameters上
    
    if(step % 10==0):
        plt.plot(steps,prediction.data.numpy().flatten(),'g*')
        plt.plot(steps,y_np.flatten(),'r-')
        plt.show()

 

UQI-LIUWJ
关注
  • 9
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【PyTorch】深度学习实践之 RNN基础篇——实现RNN
zoetu
08-19 9752
深度学习实践之 RNN基础篇——实现RNN，one-hot向量、LSTM，GRU
pytorch实现RNN循环神经网络
m0_71145378的博客
10-25 3414
一、概述循环神经网络（Recurrent Neural Network, RNN）是一类以（sequence）数据为输入，在序列的演进方向进行（recursion）且所有节点（循环单元）按链式连接的（recursive neural network），通过网络的内部结构捕捉序列之间的模式特征，一般也是以序列形式输出。RNN(Recurrent Neural Network) 是带有循环的神经网络。假设我们有一组向量，通过假设函数$H$解释代表时间量，是非线性函数，相对应的是每次循环的输出。
神经网络 torch.nn---nn.RNN()
最新发布
qq_45452617的博客
06-13 822
的shape应该是[batch_size, time_step, feature],输出也是这样。默认是 False，就是这样形式，(seq(num_step), batch, input_dim)，也就是将序列长度放在第一位，batch 放在第二位。x_t是上一层时刻t的隐状态，或者是第一层在时刻t的输入。weight_ih_l[k] – 第。weight_hh_l[k] – 第。bias_ih_l[k] – 第。bias_hh_l[k] – 第。偏置， 可学习，形状是。h_t是时刻t的隐状态。
Pytorch实现基本循环神经网络RNN
热门推荐
winycg的博客
03-31 1万+
RNN Recurrent Neural networks(Rumelhart, 1986) 主要用来处理序列型数据，具有对以往数据的记忆功能。下图所示，输入为input和一个状态Hidden0，输出为output和Hidden1. 一般地，对输入到RNN进行处理的第ttt个数据，也就是第ttt时刻，输出的隐藏状态可以表示为h(t)=f(h(t−1),x(t);θ)h^{(t)}=f(h^{(t...
PyTorch实现RNN（两种构造RNN的方式；序列到序列的训练）
WeilingDu的博客
09-16 4338
RNN pytorch 在PyTorch中有两种构造RNN的方式：一种是构造RNNCell，然后自己写循环；一种是直接构造RNN。 第一种：构造RNNCell，然后自己写循环 构造RNNCell 需要两个参数：input_size和hidden_size。 cell = torch.nn.RNNCell(input_size=input_size, hidden_size=hidden_size) 使用RNNCell hidden = cell(input, hidden) 调用时，将当前输入
使用PyTorch实现简单的RNN
qq_41775769的博客
12-03 4946
使用PyTorch实现简单的RNN 假设 Xt∈Rn×dX_t \in R^{n \times d}Xt​∈Rn×d 是序列中时间步 ttt 的小批量输入，Ht∈Rn×hH_t \in R^{n \times h}Ht​∈Rn×h 是该时间步输入的隐藏变量。计算过程如下：： Ht=ϕ(XtWdh+Ht−1Whh+bh) H_{t}=\phi(X_tW_{dh}+H_{t-1}W_{hh}+b_h) Ht​=ϕ(Xt​Wdh​+Ht−1​Whh​+bh​) 其中，隐藏层的权重 Wdh∈Rd×hW_{dh} \
Pytorch 实现RNN分类.zip
01-22
在本项目中，我们将深入探讨如何使用PyTorch框架实现循环神经网络（RNN）进行文本分类。PyTorch是一个强大的深度学习库，它提供了一种灵活且直观的方式来构建和训练复杂的神经网络模型，包括RNN。循环神经网络是特别...
Pytorch实现基于CharRNN的文本分类与生成示例
09-18
今天小编就为大家分享一篇Pytorch实现基于CharRNN的文本分类与生成示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 实现RNN回归.zip
01-22
本教程将深入探讨如何使用PyTorch实现RNN进行回归任务。 1. **RNN的基本结构** RNN的核心在于其循环单元，它允许模型处理任意长度的序列输入。在每个时间步，RNN接收一个输入，并使用当前输入和上一时间步的状态...
循环神经网络与pytorch示例（RNN实现股价预测）
07-13
循环神经网络与pytorch示例（RNN实现股价预测）
Pytorch实现RNN
qq_34714751的博客
01-02 5238
Pytorch实现RNN： 一、torch.nn.RNN() 1. 导入所需包 import torch from torch.autograd import Variable # 获取变量 from torch.utils import data # 获取迭代数 import torchvision from torchvision.datasets import mnist # 获取数据集 ...
pytorch 实现RNN文本分类
杂文集
04-21 6537
除了模型不一样，其他部分和TextCNN实现过程都是一样的，可以参考下面的链接。这里就不详细解释了。 pytorch 实现 textCNN. 导入包 import torch import torch.nn as nn import torch.nn.functional as F import pandas as pd import jieba import os from torch.nn i...
自然语言处理 | (15)使用Pytorch实现RNN(LSTM)语言模型
sdu_hao的博客
02-14 9574
本篇博客我们将使用pytorch实现一下循环神经网络模型(LSTM). 完整代码 1.数据预处理 # 实现参考 https://github.com/pytorch/examples/tree/master/word_language_model #! pip install torch #安装torch import torch import torch.nn as nn import ...
RNN模型详细实现（pytorch+jupyter）
qiboyyy的博客
07-16 558
（批量大小 乘以 隐变量大小）。建立一个循环神经网络模型，首先需要初始化隐变量（即。要实例化一个网络模型，需要哪些参数？），然后将数据输入网络中进行计算。（批量大小 乘以 时间步数），从零构建一个RNN网络模型。RNN模型计算表达式为。时间步的输出，维度为。
pytorch学习——循环神经网络RNN讲解及其实现
weixin_48637535的博客
09-07 1335
循环神经网络RNN（Recurrent Neural Network ）是一类广泛应用于序列数据建模和处理的神经网络模型。相比于传统的前馈神经网络，RNN在处理序列数据时引入了时间维度的循环连接，使得网络能够保持对先前信息的记忆和上下文依赖。RNN的一个关键特点是其内部的循环结构，允许信息在网络中进行传递和交互。在RNN中，每个时间步的输入不仅包括当前时间步的输入数据，还包括前一时间步的隐藏状态（hidden state）。
PyTorch 实现 循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元网络（GRU）
谢TS的博客
07-13 1020
循环神经网络（Recurrent Neural Network, RNN）是以 序列（Sequence）数据作为输入，沿序列的演进方向进行 递归（Recurrent）且所有循环单元节点按链式连接的一类神经网络。循环神经网络具有记忆性，对序列数据的非线性特征进行学习时具有一定优势。还有 RNN 的加强版 长短期记忆网络（LSTM, Long Short-Term Memory）和 门控循环单元网络（GRU, Gated Recurrent Unit networks）拥有更强的“记忆力”。
pytorch 实现rnn
qq_40107571的博客
06-29 1330
pytorch 实现rnn
pytorch之求梯度和nn.Linear的理解
学习笔记
10-24 2272
假设有这么个简单的神经网络结构。这篇文章可以说是机器学习之神经网络的公式推导与python代码（手写+pytorch）实现补充。那么这个网络用pytorch如何实现呢？其中w1就相当于vij的系数矩阵w2就相当于wjk的系数矩阵然后forward就是进行正向传播计算。反向传播的话就是后面计算出损失后，调用backward一句话就好了。应该比手写简介且好理解吧。
使用pytorch构建RNN实现多属性时间序列预测 示例
小张快冲
07-07 1万+
使用多属性时间序列数据预测风电场实际功率 数据展示 第A列时间数据作为时间索引，第N行B-L列作为特征属性（X），第N+1行L列作为预测属性（y），即用上一时刻的数据预测下一时刻的实际功率。下面的series_to_supervised先把数据构建成X-y形式，实际输入时用多少个时间步长作为输入由超参 time-step决定。 实验代码 # 先把数据改成X-y形式，输入用time-step决定 from sklearn import preprocessing import pandas as pd
使用Pytorch实现简易的RNN
05-10
好的，下面是使用PyTorch实现简易的RNN的步骤： 1.导入相关的库和数据 ``` import torch import numpy as np # 定义数据 data = "hello world" chars = list(set(data)) data_size, vocab_size = len(data), len...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值