【深度学习实验】循环神经网络（二）：使用循环神经网络（RNN）模型进行序列数据的预测

已于 2024-01-06 00:21:57 修改
阅读量3.1k 收藏 21
点赞数 12
分类专栏： # 深度学习实验 文章标签： 深度学习 rnn 人工智能
于 2023-10-11 21:11:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63834988/article/details/133778440
版权

目录

一、实验介绍

二、实验环境

1. 配置虚拟环境

2. 库版本介绍

三、实验内容

0. 导入必要的工具包

1. RNN模型

a. 初始化__init__

b. 前向传播方法forward

2. 训练和预测

a. 超参数

b. 创建模型实例

c. 模型训练

d. 预测结果可视化

3. 代码整合

        经验是智慧之父，记忆是智慧之母。

——谚语

一、实验介绍

        本实验实现了一个简单的循环神经网络（RNN）模型，并使用该模型进行序列数据的预测，本文将详细介绍代码各个部分的实现，包括模型的定义、训练过程以及预测结果的可视化。

        在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力．在生物神经网络中，神经元之间的连接关系要复杂得多．前馈神经网络可以看作一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入．但是在很多现实任务中， 网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关．比如一个有限状态自动机，其下一个时刻的状态（输出）不仅仅和当前输入相关，也和当前状态（上一个时刻的输出）相关．此外，前馈网络难以处理时序数据，比如视频、语音、文本等．时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变．因此，当处理这一类和时序数据相关 的问题时，就需要一种能力更强的模型． 循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络．

        在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构．循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上．循环神经网络的参数学习可以通过随时间反向传播算法[Werbos, 1990]来学习．随时间反向传播算法即按照时间的逆序将错误信息一步步地往前传递．

二、实验环境

        本系列实验使用了PyTorch深度学习框架，相关操作如下：

1. 配置虚拟环境

conda create -n DL python=3.7 
conda activate DL
pip install torch==1.8.1+cu102 torchvision==0.9.1+cu102 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

conda install matplotlib
 conda install scikit-learn

2. 库版本介绍

软件包本实验版本目前最新版
matplotlib3.5.33.8.0
numpy1.21.61.26.0
python3.7.16
scikit-learn0.22.11.3.0
torch1.8.1+cu1022.0.1
torchaudio0.8.12.0.2
torchvision0.9.1+cu1020.15.2

三、实验内容

0. 导入必要的工具包

import torch
from torch import nn
import matplotlib.pyplot as plt
import numpy as np

1. RNN模型

class Rnn(nn.Module):
    def __init__(self, input_size):
        super(Rnn, self).__init__()
        # 定义RNN网络
        ## hidden_size是自己设置的，取值都是32,64,128这样来取值
        ## num_layers是隐藏层数量，超过2层那就是深度循环神经网络了
        self.rnn = nn.RNN(
            input_size=input_size,
            hidden_size=32,
            num_layers=1,
            batch_first=True  # 输入形状为[批量大小, 数据序列长度, 特征维度]
        )
        # 定义全连接层
        self.out = nn.Linear(32, 1)

    # 定义前向传播函数
    def forward(self, x, h_0):
        r_out, h_n = self.rnn(x, h_0)
        # print("数据输出结果；隐藏层数据结果", r_out, h_n)
        # print("r_out.size()， h_n.size()", r_out.size(), h_n.size())
        outs = []
        # r_out.size=[1,10,32]即将一个长度为10的序列的每个元素都映射到隐藏层上
        for time in range(r_out.size(1)):
            # print("映射", r_out[:, time, :])
            # 依次抽取序列中每个单词,将之通过全连接层并输出.r_out[:, 0, :].size()=[1,32] -> [1,1]
            outs.append(self.out(r_out[:, time, :]))
            # print("outs", outs)
        # stack函数在dim=1上叠加:10*[1,1] -> [1,10,1] 同时h_n已经被更新
        return torch.stack(outs, dim=1), h_n

a. 初始化__init__

  • 定义了RNN网络和全连接层。
    • self.rnn是一个RNN层：使用nn.RNN创建。
      • input_size参数表示输入数据的特征维度
      • hidden_size表示隐藏状态的维度
      • num_layers表示RNN层的堆叠层数
      • batch_first=True表示输入的形状为[批量大小, 数据序列长度, 特征维度]。
    • self.out是一个全连接层，将RNN的输出映射到1维输出。

b. 前向传播方法forward

  • 接受输入数据x和初始隐藏状态h_0作为参数。
    • 将输入数据和隐藏状态传入RNN层，得到输出r_out和最终隐藏状态h_n。
    • 通过循环将序列中的每个时间步的输出经过全连接层，并将结果添加到outs列表中。
    • 使用torch.stack函数将outs列表中的结果在维度1上叠加，得到最终的预测结果，并返回预测结果和最终隐藏状态。

2. 训练和预测

a. 超参数

    TIME_STEP = 10
    INPUT_SIZE = 1
    LR = 0.02
  • TIME_STEP表示序列的长度
  • INPUT_SIZE表示输入数据的特征维度
  • LR表示学习率

b. 创建模型实例

    model = Rnn(INPUT_SIZE)
    print(model)

c. 模型训练

        使用正弦和余弦序列数据作为输入和目标输出，通过迭代训练，模型通过反向传播和优化器来不断调整参数以最小化预测结果与目标输出之间的损失。

    loss_func = nn.MSELoss()
    optimizer = torch.optim.Adam(model.parameters(), lr=LR)

    h_state = None  # 初始化h_state为None

    for step in range(300):
        # 人工生成输入和输出,输入x.size=[1,10,1],输出y.size=[1,10,1]
        start, end = step * np.pi, (step + 1) * np.pi
        # np.linspace生成一个指定大小，指定数据区间的均匀分布序列，TIME_STEP是生成数量
        steps = np.linspace(start, end, TIME_STEP, dtype=np.float32)
        # print("steps", steps)
        x_np = np.sin(steps)
        y_np = np.cos(steps)
        # print("x_np,y_np", x_np, y_np)
        # 从numpy.ndarray创建一个张量 np.newaxis增加新的维度
        x = torch.from_numpy(x_np[np.newaxis, :, np.newaxis])
        y = torch.from_numpy(y_np[np.newaxis, :, np.newaxis])
        # print("x,y", x,y)

        # 将x通过网络,长度为10的序列通过网络得到最终隐藏层状态h_state和长度为10的输出prediction:[1,10,1]
        prediction, h_state = model(x, h_state)
        h_state = h_state.data
        # 这一步只取了h_state.data.因为h_state包含.data和.grad 舍弃了梯度
        # print("precision, h_state.data", prediction, h_state)
        # print("prediction.size(), h_state.size()", prediction.size(), h_state.size())

        # 反向传播
        loss = loss_func(prediction, y)
        optimizer.zero_grad()
        loss.backward()
        # 更新优化器参数
        optimizer.step()
  • 损失函数loss_func为均方误差损失（MSELoss）。
  • 优化器optimizer，使用Adam优化算法来更新模型的参数。
  • 初始化隐藏状态h_state为None。
  • 进行训练循环，共迭代300次：
    • 生成输入数据和目标输出数据。通过在每个迭代步骤中生成一个时间步长范围内的正弦和余弦函数值来构造序列数据。
    • 将生成的数据转换为张量形式，并添加新的维度。
    • 将输入数据通过模型进行前向传播，得到预测结果和最终隐藏状态。
    • 计算预测结果与目标输出之间的损失。
    • 清零优化器的梯度。
    • 执行反向传播，计算梯度。
    • 更新优化器的参数。

d. 预测结果可视化

    plt.plot(steps, y_np.flatten(), 'r-')
    plt.plot(steps, prediction.data.numpy().flatten(), 'b-')
    plt.show()

        将真实的目标输出数据和模型的预测结果进行可视化展示。

3. 代码整合

# 导入必要的工具包
import torch
from torch import nn
import matplotlib.pyplot as plt
import numpy as np



# 定义RNN模型
class Rnn(nn.Module):
    def __init__(self, input_size):
        super(Rnn, self).__init__()
        # 定义RNN网络
        ## hidden_size是自己设置的，取值都是32,64,128这样来取值
        ## num_layers是隐藏层数量，超过2层那就是深度循环神经网络了
        self.rnn = nn.RNN(
            input_size=input_size,
            hidden_size=32,
            num_layers=1,
            batch_first=True  # 输入形状为[批量大小, 数据序列长度, 特征维度]
        )
        # 定义全连接层
        self.out = nn.Linear(32, 1)

    # 定义前向传播函数
    def forward(self, x, h_0):
        r_out, h_n = self.rnn(x, h_0)
        # print("数据输出结果；隐藏层数据结果", r_out, h_n)
        # print("r_out.size()， h_n.size()", r_out.size(), h_n.size())
        outs = []
        # r_out.size=[1,10,32]即将一个长度为10的序列的每个元素都映射到隐藏层上
        for time in range(r_out.size(1)):
            # print("映射", r_out[:, time, :])
            # 依次抽取序列中每个单词,将之通过全连接层并输出.r_out[:, 0, :].size()=[1,32] -> [1,1]
            outs.append(self.out(r_out[:, time, :]))
            # print("outs", outs)
        # stack函数在dim=1上叠加:10*[1,1] -> [1,10,1] 同时h_n已经被更新
        return torch.stack(outs, dim=1), h_n


if __name__ == '__main__':
    TIME_STEP = 10
    INPUT_SIZE = 1
    LR = 0.02
    model = Rnn(INPUT_SIZE)
    print(model)
    # 此处使用的是均方误差损失

    loss_func = nn.MSELoss()
    optimizer = torch.optim.Adam(model.parameters(), lr=LR)

    h_state = None  # 初始化h_state为None

    for step in range(300):
        # 人工生成输入和输出,输入x.size=[1,10,1],输出y.size=[1,10,1]
        start, end = step * np.pi, (step + 1) * np.pi
        # np.linspace生成一个指定大小，指定数据区间的均匀分布序列，TIME_STEP是生成数量
        steps = np.linspace(start, end, TIME_STEP, dtype=np.float32)
        # print("steps", steps)
        x_np = np.sin(steps)
        y_np = np.cos(steps)
        # print("x_np,y_np", x_np, y_np)
        # 从numpy.ndarray创建一个张量 np.newaxis增加新的维度
        x = torch.from_numpy(x_np[np.newaxis, :, np.newaxis])
        y = torch.from_numpy(y_np[np.newaxis, :, np.newaxis])
        # print("x,y", x,y)

        # 将x通过网络,长度为10的序列通过网络得到最终隐藏层状态h_state和长度为10的输出prediction:[1,10,1]
        prediction, h_state = model(x, h_state)
        h_state = h_state.data
        # 这一步只取了h_state.data.因为h_state包含.data和.grad 舍弃了梯度
        # print("precision, h_state.data", prediction, h_state)
        # print("prediction.size(), h_state.size()", prediction.size(), h_state.size())

        # 反向传播
        loss = loss_func(prediction, y)
        optimizer.zero_grad()
        loss.backward()
        # 更新优化器参数
        optimizer.step()
    # 对最后一次的结果作图查看网络的预测效果
    plt.plot(steps, y_np.flatten(), 'r-')
    plt.plot(steps, prediction.data.numpy().flatten(), 'b-')
    plt.show()

QomolangmaH
关注
  • 12
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
深度学习-循环神经网络-RNN实现股价预测-LSTM自动生成文本
小旺的博客
01-23 1592
解决更复杂的序列任务，可以把单层RNN叠起来或者在输出前和普通mlp结构结合使用。模型结构：单层LSTM，输出有20个神经元；词汇数值化：建立一个词汇-数值一一对应的字典，然后把输入词汇转化数值矩阵。模型结构：单层RNN，输出有5个神经元；每次使用前8个数据预测第9个数据。前部序列的信息经处理后，作为输入信息传递到后部序列。序列模型：输入或者输出中包含有序列数据的模型。基于文本内容及其前后信息进行预测。做判断时，把后部序列信息也考虑。基于数据历史信息进行预测。突出数据的前后序列关系。
TensorFlow对于sin函数的预测----RNN模型
03-05
TensorFlow对于sin函数的预测----RNN模型 具体解释参考http://blog.csdn.net/yunge812/article/details/79444089
基于混合 CNN - RNN 时间序列预测研究（Matlab代码实现）
最新发布
2201_75454341的博客
07-06 985
这个例子旨在提出将卷积神经网络（CNN）与递归神经网络（RNN）相结合的概念，以根据前几个月预测水痘病例的数量。CNN是特征提取的绝佳网络，而RNN已经证明了其预测序列到序列序列值的能力。在每个时间步，CNN提取序列的主要特征，而RNN学习预测下一个时间步的下一个值。基于混合卷积神经网络（CNN）和循环神经网络（RNN）的时间序列预测是一种先进的预测方法，它结合了两种模型的优点来处理具有时间依赖性的序列数据。这种方法在多个领域，如金融、天气预报、能源需求预测等，都展现出了优越的性能。
神经网络与深度学习（七）循环神经网络（1）RNN记忆能力实验
weixin_53651790的博客
11-17 1089
RNN记忆能力实验
NNDL 实验七 循环神经网络(1) RNN记忆能力实验
qq_52551768的博客
11-17 1084
NNDL 实验七 循环神经网络(1) RNN记忆能力实验
RNN学习-序列模型预测实战
q7672345的博客
12-28 838
学习打卡：序列模型构建实战
RNN 股票预测
qq_46006468的博客
08-16 835
一、数据集介绍 只取第三列的开盘数据进行预测。 二、环境 tensorflow2.1、sklearn、pandas、numpy...... 三、实现和介绍 import numpy as np import tensorflow as tf from tensorflow.keras.layers import Dropout, Dense, SimpleRNN import matplotlib.pyplot as plt import ...
RNN层及时间序列预测
scarlet witcher的博客
08-12 7167
目录1.RNN层循环神经网络介绍RNN层原理RNN的缺点实现一个RNN（多层或单层）2.时间序列预测 1.RNN层 循环神经网络介绍 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进
rnn-experiment:循环神经网络实验
07-06
rnn-实验 循环神经网络实验
使用神经网络进行预测 (MATLAB版)Neural Networks predict
04-19
使用神经网络进行预测，有BF，FF，GRNN，RBF网络等， 使用神经网络进行预测 (MATLAB版)Neural Networks predict
【深度学习】——循环神经网络RNN及实例气温预测、单层lstm股票预测
杨老师的小跟班(*∩_∩*)
01-29 5650
密集连接网络和卷积神经网络都有主要的特点，那就是它们没有记忆。它们单独处理每个输入，在输入和输入之间没有保存任何状态。举个例子：当你在阅读一个句子的时候，你需要记住之前的内容，我们才能动态的了解这个句子想表达的含义。生物智能已渐进的方式处理信息，同时保存一个关于所处理内容的内部模型，此模型是根据过去额信息构建的，并随着新的信息进入不断更新。比如股票预测、气温预测等等。
BJTU实验4_循环神经网络实验
08-15
手动实现循环神经网络RNN，并在至少一种数据集上进行实验，从训练时间、预测精度、Loss变化等角度分析实验结果 使用torch.nn.rnn实现循环神经网络，并在至少一种数据集上进行实验，从训练时间、预测精度、Loss变化等角度分析实验结果
正弦序列预测-RNN
03-02
正弦序列预测 描述：有1500条训练集为 正弦序列 和 该序列对应的值 对500条测试集进行测试
SimpleRNN实现股票预测
冲出仁川，走出马德里，故事还会再继续
05-20 1016
SimpleRNN实现股票预测1、数据源2、代码实现3、完整代码 原理请查看前面几篇文章。 1、数据源   SH600519.csv 是用 tushare 模块下载的 SH600519 贵州茅台的日 k 线数据，本次例子中只用它的 C 列数据(如图 所示)：   用连续 60 天的开盘价，预测第 61 天的开盘价。 2、代码实现   按照六步法： import 相关模块->读取贵州茅台日 k 线数据到变量 maotai，把变量 maotai 中前 2126 天数据中的开盘价作为训练数据，把变量
使用RNN做一个简单波形的预测（pytorch）
weixin_46321755的博客
10-25 1477
RNN简单应用
深度学习实验（五）——循环神经网络编程
code_bro的博客
01-03 1139
本次实验练习使用torch.nn中的类设计一个循环神经网络进行MNIST图像分类。在本次实验中，你要设计一个CNN，用于将28×2828 \times 2828×28的MNIST图像转换为M×M×DM\times M\times DM×M×D的特征图，将该特征图看作是一个长度为M×MM\times MM×M的特征序列，序列中每一个特征向量的大小为DDD，然后使用RNN对该序列分类。 1. 准备数据 从torch.nn.Module派生一个子类CNN，表示一个卷积神经网络;用于将
【深度学习实验】循环神经网络（三）：门控制——自定义循环神经网络LSTM（长短期记忆网络）模型
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
10-16 1718
LSTM（长短期记忆网络）是一种循环神经网络（RNN）的变体，用于处理序列数据。它具有记忆单元和门控机制，可以有效地捕捉长期依赖关系。
基于循环神经网络的预测模型，用于时间序列预测或回归分析。它通过对输入数据进行归一化处理，设计了一个包含GRU和LSTM层的RNN结构，使用adam优化算法进行训练，并计算了预测结果的误差和评价指标
2301_78783869的博客
06-18 385
使用adam优化算法进行训练，最大训练次数为2000次，梯度阈值为1，初始学习率为0.01，学习率调整策略为piecewise，训练850次后开始调整学习率，学习率调整因子为0.25，最小批量大小为96，关闭训练过程中的详细输出，每个epoch后对数据进行洗牌，训练环境根据之前判断的设备类型进行设置，最后画出训练过程的曲线。它通过对输入数据进行归一化处理，设计了一个包含GRU和LSTM层的RNN结构，使用adam优化算法进行训练，并计算了预测结果的误差和评价指标。图中包含真实值和预测值，以及拟合直线。
循环神经网络实践：实现自然语言处理的巅峰
禅与计算机程序设计艺术
12-27 313
1.背景介绍 自然语言处理(NLP)是人工智能的一个重要分支，旨在让计算机理解、生成和翻译人类语言。在过去的几十年里，NLP 研究者们已经尝试了许多不同的方法来解决这些问题，包括规则基础设施、统计方法和深度学习方法。 在2010年代，深度学习技术在计算机视觉和语音识别等领域取得了显著的成功。这种技术的成功主要归功于卷积神经网络(CNN)和循环神经网络(RNN)等神经网络架构的出现。在语音识别方...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

QomolangmaH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值