时间序列预测（六）——循环神经网络（RNN）

已于 2025-03-13 10:47:13 修改
阅读量5.3k 收藏 95
点赞数 55
文章标签： 深度学习 神经网络 人工智能 机器学习
于 2024-10-18 14:54:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47885795/article/details/143053692
版权

目录

一、RNN的基本原理

1、正向传播（Forward Pass）：

2、计算损失（Loss Calculation）

3、反向传播——反向传播通过时间（Backpropagation Through Time，BPTT）

4、梯度更新：

二、RNN的常用结构

 1、N——N结构

2、N——1结构

3、1——N结构

4、N——M结构（Encoder-Decoder，也称Seq2Seq）

三、RNN的优缺点

四、在Python中的代码解释

1、模型定义

（1）类定义：RNNModel

（2）实例化模型

2、参数形状转化（注意）

五、梯度消失与梯度爆炸

六、RNN的改进模型

七、具体代码实现

1、选择道路曲率、车速和历史方向盘转角（这里取了五个时刻的历史方向盘转角）这三个（7个）作为特征，采用RNN训练

2、使用更长的序列来捕捉历史信息，而不需要手动构造历史特征

1、绘制平均值

​2、绘制第一个未来时间步的对比

往期文章：

时间序列预测（一）——线性回归（linear regression）-CSDN博客

时间序列预测（二）——前馈神经网络（Feedforward Neural Network, FNN）-CSDN博客

前面有提到前馈神经网络，下图是两者的区别对比

特性 前馈神经网络（FNN） 循环神经网络（RNN）
结构 无循环连接，数据单向流动 有循环连接，数据可流过多个时间步
适用任务 静态任务，无时间依赖 动态任务，包含时间依赖
记忆能力 无法记忆前一时刻信息 通过隐藏状态记忆前一时刻信息
梯度计算 反向传播（BP） 反向传播通过时间（BPTT）
常见问题 无梯度消失或爆炸问题 易出现梯度消失或爆炸问题
适用场景 图像分类、静态预测 时间序列预测、文本生成、语音识别

循环神经网络（Recurrent Neural Network，RNN）是一种专门用于处理序列数据的神经网络结构，它能够处理时间序列数据，并预测未来的数据变化趋势。RNN能够处理序列中的时间依赖性，因而非常适合时间序列预测。以下是对RNN在时间序列预测中的详细分析：

一、RNN的基本原理

RNN的基本原理是在神经网络中引入时间的概念，使得网络可以处理序列数据。RNN的基本结构是一个循环单元，它包含一个输入层、一个隐藏层和一个输出层。在每一个时间步上，网络接收一个输入向量和一个隐藏状态向量，通过一个非线性函数对它们进行组合，然后产生一个输出向量和一个新的隐藏状态向量，作为下一个时间步的输入和隐藏状态。这种反馈机制可以使得网络记忆之前的信息，并在处理序列数据时考虑到历史信息。​

1、正向传播（Forward Pass）：

  • 输入层：

    • RNN的输入是一个序列，表示为 X=[x1,x2,…,xT]，其中 T 是序列长度，xt 表示在时间 t 的输入值。

  • 隐藏层（是一个循环单元）：

    • RNN 的特殊之处在于隐藏层具有循环连接，使得每个时刻的隐藏层状态都能从前一时刻的状态（隐状态）中获得信息。具体来说，RNN 会在每个时间步更新隐藏状态 ht：
    • 注意：在计算时，每一步使用的参数Wh、Wx、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点，而LSTM中的权值则不共享

  • 输出层：

RNN 的输出 yt依赖于当前隐藏状态 ht：

2、计算损失（Loss Calculation）

选择合适的损失函数，计算每个时间步 ttt 的损失值 Lt，将所有时间步上的损失求和，得到整个序列的总损失 L：

3、反向传播——反向传播通过时间（Backpropagation Through Time，BPTT）

在计算总损失后，通过BPTT算法沿时间维度反向传播误差，计算每个时间步上的梯度。

因为隐藏状态在每个时间步都传递到下一个时间步，所以需要在时间上展开 RNN，形成一个“展开的计算图”，并在这个图上逐步反向传播。对于每个时间步的参数（如 Wh和 Wx），需要计算梯度：

（注意：由于隐藏状态 hth_tht​ 依赖于所有之前的状态，所以当前时间步的梯度受多个时间步的误差影响。）

4、梯度更新：

计算出参数的梯度后，通常使用优化器（如 SGD、Adam 等）来更新模型参数。随着每个时间步梯度的反向传播，BPTT算法会依次更新所有权重，以最小化损失。

为了减小计算量，提出了截断 BPTT，它 是一种优化的 BPTT 方法，通过限制反向传播的时间步数来减少计算量。它按固定长度（如 10 或 20 步）的窗口，将长序列分成若干个较短的子序列，每个子序列独立进行正向和反向传播。在每个子序列结束时，重置梯度，但隐藏状态在各子序列间保持连续，以保留长程依赖信息。

最后，需要注意在PyTorch中，RNN的输入数据通常是一个形状为(batch_size, sequence_length, input_size)的张量，输出数据通常是一个二维张量，其形状为(batch_size, output_size)或是三维张量(batch_size, sequence_length, output_size)（对于序列输出）。

其中，

  • batch_size：表示批次中样本的数量。
  • sequence_length：表示序列的长度。
  • input_size和output_size：表示每个时间步骤的输入和输出的特征数量

所以要将数据进行转化。这里是与FNN是不一样的，多了一个序列长度，所以RNN 可以一次性输入和输出多个时间步的特征和目标，RNN 才是真正可以处理序列数据的，而 FNN 处理的是单个独立样本。

因此，当 sequence_length=1 时，RNN 变得和 FNN 类似，但仍保持了 RNN 的结构。在这种情况下，使用 RNN 可能会显得有些多余，因为 FNN 可以实现相同的功能，而不需要引入 RNN 的复杂性。

二、RNN的常用结构

 1、N——N结构

输入与输出：输入是x1，x2，.....xn，输出为y1，y2，...yn。输入和输出序列是等长的。

应用场景：由于这种结构的输入输出长度一致，因此它适用于生成等长度的序列，如合辙的诗句等。此外，它还可用于计算视频中每一帧的分类标签，因为要对每一帧进行计算，所以输入和输出序列等长。

  

2、N——1结构

输入与输出：输入是一个序列，而输出是一个单独的值，不是序列。

处理方式：这种结构通常在最后一个隐层输出h上进行线性变换，以得到所需的输出值。为了更明确地表示结果，还可以使用sigmoid或softmax函数进行处理。

应用场景：这种结构经常被应用在文本分类问题上，如输入一段文字判别它所属的类别，或输入一个句子判断其情感倾向等。  

最低0.47元/天 解锁文章
八年。。
关注
RNN时间序列预测：RNN循环神经网络模型
sybh的博客
10-13 471
时间序列预测中使用神经网络的一种常见方法是使用循环神经网络（Recurrent Neural Networks，RNNs）或其变体，如长短期记忆网络（Long Short-Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）。这些网络能够处理序列数据，并且具有记忆能力，能够捕捉长期依赖关系，这在传统的线性模型中很难实现。神经网络的另一个优势是可以同时处理多个输入特征，而不仅限于单变量时间序列。
RNN实现时间序列预测
XlltEditor的博客
09-22 738
在我们的示例中，样本数是数据集中的样本数量，时间步数是输入序列的长度（我们将使用3个时间步），特征数是每个时间步的特征数量（在我们的示例中，每个时间步只有一个特征）。接下来，我们定义了一个简单的RNN模型，并使用训练集对其进行训练。最后，我们使用训练好的模型进行预测，并将预测结果与目标序列进行可视化。在本文中，我们将使用RNN来实现时间序列预测，并提供相应的源代码示例。我们将使用一个简单的RNN模型，其中包含一个RNN层和一个全连接（Dense）层。训练完成后，我们可以使用训练好的模型来进行预测。
循环神经网络（RNN）
最新发布
程子鱼
03-27 1088
循环神经网络（Recurrent Neural Network，简称 RNN）是一类用于处理序列数据的神经网络模型。与传统的前馈神经网络（如多层感知机）不同，RNN 具有反馈结构，能够在处理当前输入的同时保持之前的计算结果，从而更好地处理序列数据，如时间序列、语音、文本等。
【Python机器学习】循环神经网络（RNN）——对RNN进行预测
weixin_39407597的博客
09-11 1639
如果有一个经过训练的模型，接下来就可以对其进行预测
机器学习实战(11)：时间序列预测——循环神经网络（RNN）与 LSTM
yweng18的博客
02-21 1114
在机器学习中，时间序列预测 是一种重要的任务，广泛应用于股票价格预测、天气预报、语音识别等领域。传统的机器学习方法难以捕捉时间序列中的长期依赖关系，而循环神经网络（Recurrent Neural Networks, RNN） 和其改进版本*长短期记忆网络（LSTM, Long Short-Term Memory） 能够有效解决这一问题。今天我们将深入探讨 RNN 和 LST。本文介绍了时间序列数据的特点、RNN 的基本结构及其局限性，并详细讲解了 LSTM 如何解决长期依赖问题。
深度学习中的循环神经网络（RNN）与时间序列预测
Programming Talk
11-24 867
循环神经网络（Recurrent Neural Networks，简称RNN）是一种专门用于处理序列数据的神经网络架构。与传统神经网络不同，RNN具有内部记忆能力，能够捕捉数据中的时间依赖关系，广泛应用于自然语言处理（NLP）、时间序列预测等领域。RNN的核心特点：时间步处理：通过共享权重和时间步迭代处理输入数据。隐藏状态：在每个时间步维护一个隐藏状态，帮助记忆过去的信息。本篇文章介绍了循环神经网络的核心概念和基本结构，并通过TensorFlow实现了一个简单的RNN模型用于时间序列预测。
RNN-时间序列预测模型
weixin_46969441的博客
10-24 3338
RNN-应用场景 语音识别 音乐生成 情感分析：根据输入的评论，猜测评论的分数。 DNA序列分析 语言翻译等 带时间序列应用的场景 后面产生的结果，是受到前面结果的影响的。 区别于神经网络预测 神经网络的输入的特征都是固定不变的，强调特征的位置。 标准的神经网络是不适合用来处理带时间序列的模型的。 但是RNN 可以处理 RNN网络结构 将每一个时间状态 进行串联 后面的状态后受到前面状态的影响 单个单元 当前的x 和 前一个状态 a的t-1 tanh激活函数 学习非线性的部分 输出还乘以权重+偏置
RNN层及时间序列预测
scarlet witcher的博客
08-12 7521
目录1.RNN层循环神经网络介绍RNN层原理RNN的缺点实现一个RNN（多层或单层）2.时间序列预测 1.RNN层 循环神经网络介绍 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
RNN
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 32万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
吴恩达《序列模型》01——循环神经网络RNN
Serendipity_zyx的博客
10-30 2622
文章目录一、序列模型1. 什么是序列模型？2. 数学符号（Notation）二、循环神经网络1. 标准NN存在的问题2. RNN3. 通过时间反向传播（Backpropagation through time）4. 不同结构三、语言模型1. Language model and sequence generation2. 采样（Sampling novel sequences）四、GRU和LSTM1. RNN 的梯度消失（Vanisging gradients with RNNs）2. GRU（门控循环单元
深度学习算法——循环神经网络RNN
Vicky_xiduoduo的博客
10-04 1808
传统的RNN模型、RNN前向传播算法、RNN反向传播算法
基于混合 CNN - RNN 时间序列预测研究（Matlab代码实现）
weixin_67304359的博客
07-06 1072
这个例子旨在提出将卷积神经网络（CNN）与递归神经网络（RNN）相结合的概念，以根据前几个月预测水痘病例的数量。CNN是特征提取的绝佳网络，而RNN已经证明了其预测序列到序列序列值的能力。在每个时间步，CNN提取序列的主要特征，而RNN学习预测下一个时间步的下一个值。基于混合卷积神经网络（CNN）和循环神经网络（RNN）的时间序列预测是一种先进的预测方法，它结合了两种模型的优点来处理具有时间依赖性的序列数据。这种方法在多个领域，如金融、天气预报、能源需求预测等，都展现出了优越的性能。
时间序列预测：基于PyTorch框架的循环神经网络（RNN）实现销量预测
Java开发，人工智能，边缘计算，致力于掌握前沿技术
04-26 4005
主要过程如下： 1、首先读取数据集csv文件，读取每天每个地区的销量数据，整理为按照地区分类的销量数据csv文件，并且将每天的销量数据合并为以周（星期）为单位的销量汇总数据。以下代码实现都是按照周进行预测的，比如说可以预测未来1周，2周，3周...等某地的销量数据。 2、数据整理好之后，执行train.py文件开始训练模型，模型生成的文件会保存至models文件夹下。 3、待训练完成之后执行predict.py文件，修改文件中的开始日期进行预测未来几周的销量数据。 4、观察模型训练效果，如果结构不理想
使用RNN、LSTM和Transformer进行时间序列预测
m0_56676945的博客
10-18 1401
指在一个样本中（共50个时间步）的时间步位置，这里的。
RNN（循环神经网络）
weixin_63685622的博客
05-16 1万+
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
Keras 使用 LSTM RNN 进行时间序列预测
weixin_36873225的博客
05-17 450
基于长短期记忆 (LSTM) 的 RNN 来进行序列分析。序列是一组值，其中每个值对应于特定的时间实例。让我们考虑一个阅读句子的简单示例。阅读和理解句子包括按照给定的顺序阅读单词并尝试理解给定上下文中的每个单词及其含义，最终以积极或消极的情绪理解句子。这里把单词当作值，第一个值对应第一个单词，第二个值对应第二个单词，以此类推，并且顺序会严格保持。序列分析在自然语言处理中经常使用，以找到给定文本的情感分析。创建一个 LSTM 模型来分析 IMDB 电影评论并找出其正面/负面情绪。
RNN时序预测
m0_61010858的博客
04-29 557
RNN模型用于时间序列预测
r语言 rnn预测时间序列
09-06
R语言在预测时间序列中使用RNN是一个常见的方法。RNN特别适用于处理按顺序排列的输入序列，如时间序列数据。RNN按顺序处理输入序列的时间步长，并可以提取序列中的模式。对于序列问题，例如温度预测，RNN通常表现良好。另外，双向RNN是一种使用两个常规RNN（例如layer_gru和layer_lstm）沿不同方向处理输入序列的方法，并结合它们的表示形式。通过双向处理序列，双向RNN可以捕获单向RNN忽略的模式。 在使用R语言进行时间序列预测时，您可以参考北京大学内部的金融时间序列讲义。这是一个经典的金融时间序列资料，以R语言为基础，涵盖了完整的体系。这个讲义可以为您在使用LSTM、RNN等神经网络模型进行时间序列预测时提供参考。 在处理文本数据集时，逆序处理与按时间顺序处理一样有效。这表明，尽管单词顺序在理解语言中确实很重要，但使用不同的顺序进行训练的RNN可以学习到不同的表示形式。在机器学习中，不同的表示总是值得开发的，因为它们提供了一个新的视角来查看数据，并捕获其他方法可能忽略的数据方面，从而提高任务的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [北京大学金融时间序列分析讲义.pdf](https://download.csdn.net/download/liangcaivip/12318983)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [R语言基于递归神经网络RNN的温度时间序列预测](https://blog.csdn.net/tecdat/article/details/128750847)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值