DeepLearning之LSTM模型输入数据：白话降维解说

最新推荐文章于 2024-08-07 15:23:57 发布
最新推荐文章于 2024-08-07 15:23:57 发布
阅读量6.3k 收藏 118
点赞数 18
分类专栏： Deep Learning 文章标签： LSTM 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42101836/article/details/107133793
版权

《 Dianchen666’s Deep Learning 学习笔记系列 ---- 小白角度看深度学习》

有导航，不迷路。

(1). DeepLearning之LSTM模型输入参数：time_step, input_size, batch_size的理解

(2). DeepLearning之LSTM模型输入数据：白话降维解说

本文摘要：

  1. 对于LSTM的输入参数的理解的应用。

  2. LSTM模型真正的输入数据是什么样的？

  3. 通过LSTM的输入数据实例的讲解，更好的理解循环神经网络的输入数据。

1. LSTM的基本介绍

  1. 上次讲到了LSTM模型的输入参数的理解，这一篇讲讲我对LSTM以及循环网络模型的输入数据的理解。
  2. LSTM是循环神经网络的一个变种，加入了多个门来控制每个神经细胞的状态
  3. 细胞的状态对于整个模型是非常重要的，训练模型主要是更新每个细胞的输入参数，转态参数，输入的参数，让每个细胞处于一个稳定的状态
  4. 输入的数据的一般是time_step, input_size, batch_size，这三个输入参数的定义我已经在上一篇博文中谈了谈我的理解
  5. 受一位博友启发，但是我发现好像没有博文对输入数据到底是什么样的，讲的非常的清晰透彻、清楚。
  6. 本文尝试从非常白话的角度，来谈谈我对输入数据模样的理解。
  7. 如有不对，还请多批评指正。

2. 基础参数理解

  1. 输入数据主要是三个参数，time_step, input_size, batch_size
  2. 借某位博友的启发，引用一下它的话：“batch_size是指有多少组序列数据，而time_step是指每组序列数据中有多少个时刻”
  3. input_size 最好理解，就是输入的数据有几个自变量，就是有几个X
  4. iteration与batchsize是有乘法关系的，3000条数据，100iteration，那么batchsize就是30。也就是Total sample = iteration（n）*batchsize
  5. batch_size就是我们常说的批处理的数据量
  6. epoch=10就是进行10*100个iteration来对模型进行训练

3. 各参数确定的次序

  1. 首先应该确定的是由几个自变量，就是有几个X，由几个变量来预测另外一个y
  2. 第2个应该确定的是time_step，就是确定你进行训练其中一次的有多少个时刻，这个time_step就应该是多少，换句话说就是你预测的这个y和之前的多少个时刻有关系，这样来确定。
  3. 第3个就是batch_size, 原理上将batch_size可能会影响你的训练速度，因为它的定义是批大小，是一次训练所选取的样本数，为了在内存效率与内存容量之间寻找平衡，白话就是提高你的训练效率。
  4. batch_size和time_step本身没有关系，但是time_step的长短和input_size的多少会影响每一个iteration训练的速度。

3. 示意图

1.还是用一个excel的数据表来进行举例
在这里插入图片描述

2.时间是从2020年6月1日-6月30日，x1,x2,x3,x4,x5说明是有5个自变量，也就是Inputsize=5，y为要预测的值。

3.此时确定timestep的值，就是你预测的这个Y值是之前的几个时刻有关系，比如上图要预测的y值使用前5天的数据来进行预测，那么time_step=5，此时将上述的数据按照time_step的大小进行重构。

4.通过time_step参数对数据进行重构后，会产生新的数据组，组数=total_sample - time_step + 1，如下图：26组=total(30) - time_step(5) +1，每组数据都有5个时刻t
在这里插入图片描述
4.其中包含5个时刻数据的这一组数据称为输入数据的一个batch，而batch_size就是每一次feed数据有多少组这样的数据。batch(26) = total(30) - time_step(5) +1
在这里插入图片描述
5.再把每一个batch的数据剖开，看看每一个batch的数据是什么样的。

6.下图为一个粗糙的示意图。讲述了在一个Batch中数据是如何进行运转的。

7.在batch1 中，T1时刻的数据分为X变量与Y变量，在T1时刻X与Y数据被同时输入到LSTM中，通过各种门的计算，输出了一个细胞状态Ct1与Ht1，这个两个变量会作为输入变量到下一个时刻的计算当中。

8.到T2时，T1时刻输出的Ct1与Ht1与T2时刻的X变量（x1x2x3x4x5）输入到LSTM模型中，通过各种门的计算，最后得到Ct2与Ht2，在输入到下一时刻，直到整个batch结束。

  1. 一个batch中会循环计算time_step次。
    在这里插入图片描述
    10.上图中，红色直线代表是的细胞状态变量的转移
    红色曲线代表的是目标值也就是Ht变量的转移。

11.在执行一个batch结束后，再执行下一个batch，batchsize=30就是1个iteration中执行了30个这样的batch，在一次feed数据中。

12.重构后的batch的个数，自己定义size的大小。上图中的所有数据重构后，变成了26个batch，你可以将batchsize设置为5，设置为10，设置为20。

13.无论batchsize设置为多少，每一组数据都是按照顺序进入到模型中进行训练。

4. 总结

  1. 那么batchsize主要影响模型的什么？主要是影响模型的泛化性能，就是模型在训练之后对于test数据预测的准确性。
  2. 一般来说：越大大的batchsize，会减少模型训练所需要的时间，提高模型的稳定性
  3. 在合适的范围内，增大batchsize，有助于收敛的稳定性，但是再随着batchsize的增加，模型的性能会下降（泛化性能）
  4. 总结来说：batchsize在变得很大(超过一个临界点)时，会降低模型的泛化能力。

下一篇说说学习率与batchsiz对模型性能的影响。

————————————————
参考链接，尊重原创，支持原创！

  1. 作者：ch206265, 文章：LSTM中的batch到底是什么, https://blog.csdn.net/ch206265/article/details/107088040
  2. 作者：言有三，学习率和batchsize如何影响模型的性能？
Dianchen_Raw
关注
专栏目录
LSTM的输入和输出是怎样的？
CSDN 精品推荐
08-09 1526
LSTM的输出包括当前时间步的隐状态、细胞状态以及可能的预测值，这取决于任务的类型。在每个时间步上，LSTM都会输出一个隐状态，该隐状态包含了当前时间步的输入和之前时间步的信息。根据前一个时间步的隐状态和当前输入，计算输出门的值，以决定如何基于细胞状态计算当前时间步的隐状态。根据前一个时间步的隐状态和当前输入，计算遗忘门的值，以决定细胞状态中哪些信息需要被遗忘。根据前一个时间步的隐状态和当前输入，计算输入门的值，以决定添加哪些新的信息到细胞状态中。使用输出门的信息和细胞状态，计算当前时间步的隐状态。
在LSTM网络数据处理中，如何构建序列对应的输入和输出数据
m0_46447790的博客
04-19 1084
在LSTM网络中，要求输入为一组有时序关系的数据，标签为该时序输入的标签数据。 而往往在实际采集数据时，得到的输入和标签是1对1的关系，如何构建函数，生成多对1的序列关系？此时需要构建滑动窗口函数。 本文中，构建1-10的一个数组，然后利用滑动窗口，取步长为5，生成输入数据为一个(6,5)的数组，而标签为（6，1）的数组，即1-5预测5，2-6预测6，3-7预测7，4-8预测8，5-9预测9，6-10预测10
DeepLearning之LSTM模型输入参数：time_step, input_size, batch_size的理解
01-20
1. LSTM模型 输入参数理解 （Long Short-Term Memory） lstm是RNN模型的一种变种模式，增加了输入门，遗忘门，输出门。 LSTM也是在时间序列预测中的常用模型。 小白我也是从这个模型入门来开始机器学习的坑。 LSTM的基本概念与各个门的解释已经有博文写的非常详细：推荐博文:【译】理解LSTM（通俗易懂版） 这篇文章写的非常详细，生动，概念解释的非常清楚。我也是从这个博文里开始理解的。 2. 模型参数 模型的调参是模型训练中非常重要的一部分，调整参数前的重要一步就是要理解参数是什么意思，才能帮助更好的调整参数。 但是发现在一些实战模型将代码直接放在那里，但是基本
LSTM模型
最新发布
m0_74807013的博客
08-07 1987
LSTM（长短期记忆）是一种用于处理和预测时间序列数据的递归神经网络（RNN）架构旨在解决传统RNN在处理长序列数据时存在的梯度消失和梯度爆炸问题。LSTM的关键在于其特殊的单元结构，每个单元包含三个门：输入门、遗忘门和输出门。这些门通过控制信息的流动，允许LSTM在更长时间范围内保持和更新记忆。输入门（Input Gate）：控制有多少新的信息被存储在单元状态中。遗忘门（Forget Gate）：控制当前单元状态中有多少信息被保留。输出门（Output Gate）
长短期记忆（LSTM）系列_LSTM的数据准备（4）——如何归一化标准化LSTM网络的数据
AI量化交易实验室
12-04 1万+
导读： 在训练神经网络（例如长短期记忆复现神经网络）时，可能需要缩放序列预测问题的数据。 当输入数据序列分布并不标准，或者变化幅度（标准差）过大时，这会减慢网络的学习和收敛速度，也会阻碍网络的学习效率。 因此您需要了解如何归一化和标准化序列预测数据，以及如何确定将哪中形式用于输入和输出变量。 您可能需要考虑两种类型的系列缩放：归一化和标准化。 这些都可以使用scikit-learn库来实...
LSTM输入输出
重剑无锋博客
06-28 2959
输入的参数列表包括: input_size 输入数据的特征维数，通常就是embedding_dim(词向量的维度) hidden_size　LSTM中隐层的维度 num_layers　循环神经网络的层数 bias　用不用偏置，default=True batch_first 这个要注意，通常我们输入的数据shape=(batch_size,seq_length,embedding_dim),而batch_first默认是False,所以我们的输入数据最好送进LSTM之前将batch_size与seq_len
LSTM输入输出各参数
tangweirensheng的博客
12-07 3630
torch.nn.LSTM(*args, kwargs)** 参数 – input_size – hidden_size – num_layers – bias – batch_first – dropout – bidirectional LSTM的输入 input, (h_0, c_0) – input (seq_len, batch, input_size) – h_0 (num_layers * num_directions, batch, hidden_size) # 初始的隐藏状态 – c_.
LSTM模型输入输出的操作
LP5956的博客
04-20 3373
第一维体现的是序列（sequence）结构,也就是序列的个数，用文章来说，就是每个句子的长度，因为是喂给网络模型，一般都设定为确定的长度，也就是我们喂给LSTM神经元的每个句子的长度，当然，如果是其他的带有带有序列形式的数据，则表示一个明确分割单位长度，第三位体现的是输入的元素（elements of input），也就是，每个具体的单词用多少维向量来表示，或者股票数据中 每一个具体的时刻的采集多少具体的值，比如最低价，最高价，均价，5日均价，10均价，等等。input_size：x的特征维度。
PyTorch框架的中LSTM的输入和输出
qq_38633279的博客
11-02 2940
input_size:输入数据的特征维度，（单变量=1,embedding=【词向量的表示维度】）hidden_size:LSTM隐层的维度num_layers:循环神经网络的层数 1或者2batch_first:通常默认为False，输入的数据shape=(time_steps,batch_size,embedding)batch_first=True,则输入的数据shape=(batch_size,time_steps,embedding)
LSTM的输入参数和输出参数
weixin_43468880的博客
05-25 3634
4.batch_first：默认为False，在制作数据集和数据集载入的时候，有个参数叫batch_size，也就是一次输入几个数据，lstm的输入默认将batch_size放在第二维，当为True的时候，则将batch_size放在第一维。1.input_size：输入的特征维度，一般来说就是字向量的维度，比如如果用bert(base)的话，那么输入的维度input_size=768。3.num_layers：很好理解，就是LSTM 堆叠的层数,默认值为1，设置为2的时候，第一层的输出是第二层的输入。
JAVA语言实现哥德巴猜想
qq_44236131的博客
09-23 246
import java.util.Scanner;public class Gdb { public static void main(String[] args) { Scanner sc=new Scanner(System.in);//输入数据 System.out.println(“请输入大于6的偶数：”); int GDB,n; GDB=sc.nextInt(); if(GDB<=6&(GDB%2)!=0) { System.out.println(“输入错误！”);
DeepLearning之LSTM模型输入参数
02-20 1496
LSTM模型 输入参数理解 （Long Short-Term Memory） lstm是RNN模型的一种变种模式，增加了输入门，遗忘门，输出门。 LSTM也是在时间序列预测中的常用模型。 小白我也是从这个模型入门来开始机器学习的坑。 LSTM的基本概念与各个门的解释已经有博文写的非常详细：推荐博文:【译】理解LSTM（通俗易懂版） 这篇文章写的非常详细，生动，概念解释的非常清楚。我也是从这个博...
回归预测 - MATLAB实现CNN-LSTM多输入单输出（完整源码和数据）
05-05
在本项目中，我们探讨了如何使用MATLAB来实现一种深度学习模型——卷积神经网络（CNN）与长短期记忆网络（LSTM）相结合的多输入单输出（MISO）结构，用于回归预测任务。这一组合模型充分利用了CNN在处理序列数据中的...
Dlog:Host log detection based on deep learning 基于LSTM神经网络模型的日志异常检测
05-03
基于LSTM神经网络模型的日志异常检测 主要基于Deeplog实现 DeepLog - Anomaly Detection and Diagnosis from System Logs through Deep Learning (部分paper来源于知网，请尊重版权~)
lstm 多输入 多输出 负荷预测 pytorch 直接可跑 内含数据集
09-26
标题中的“LSTM多输入多输出负荷预测PyTorch直接可跑内含数据集”指的是一个使用Python深度学习库PyTorch实现的项目，该项目专注于利用长短时记忆网络（LSTM）进行多输入多输出的负荷预测。负荷预测是能源管理、电力...
时间序列的lstm的输入输出
辛宣的博客
06-09 510
lstm的官网 总共有七个参数，其中只有前三个是必须的。由于大家普遍使用PyTorch的DataLoader来形成批量数据，因此batch_first也比较重要。 input_size：在时间序列预测中，比如需要预测负荷，每一个负荷都是一个单独的值，都可以直接参与运算，因此并不需要将每一个负荷表示成一个向量，此时input_size=1。 但如果我们使用多变量进行预测，比如我们利用前24小时每...
简析LSTM()函数的输入输出数据
chenzhiwen1998的博客
08-30 3084
LSTM()函数 输入参数 参数有input_size, hidden_size, num_layers, bias, batch_first, dropout, bidrectional. 常用的就是Input_size就是输入的大小，一般就是多维度的最后一个维度的值。 hidden_size 是输出的维度，也是指输出数据的维度的最后一个维度的大小。 bidrectional表示是否为双向lstm。这可能影响输出维度，后面讲。 e.p. lstm_bi=torch.nn.LSTM(input_size=1
LSTM输入结构
热门推荐
clam的博客
11-27 1万+
为了更好理解LSTM结构，必须理解LSTM的数据输入情况。仿照3通道图像的样子，在加上时间轴后的多样本的多特征的不同时刻的数据立方体如下图所示： 三维数据立方体 右边的图是我们常见模型的输入，比如XGBOOST，lightGBM，决策树等模型，输入的数据格式都是这种（N*F）的矩阵，而左边是加上时间轴后的数据立方体，也就是时间轴上的切片，它的维度是（N*T*F）,第一维度是样本数，第二维度是时间，第三维度是特征数，如下图所示： 这样的数据立方体很多，比如天气预报数据，把样本理解成城市，时.
lstm模型输入输出
08-18
LSTM模型的输入和输出格式可以根据具体问题的需求进行定义和调整。以下是一般情况下LSTM模型的输入和输出格式的描述： 输入： 1. 形状：LSTM模型的输入是一个三维张量，通常为 (样本数, 时间步长, 特征数) 的形式。其中，样本数表示输入数据的样本数量，时间步长表示序列数据的长度或时间步数，特征数表示每个时间步的特征数量。 2. 特征：输入特征可以是各种类型的数据，如数字、文本、图像等。在处理文本序列时，常用的表示方法是将文本转换为词嵌入向量。在处理数字序列时，可以直接使用原始数值。 3. 归一化：在训练LSTM模型之前，通常需要对输入数据进行归一化或标准化处理，以确保数据的相对范围一致。 输出： 1. 预测值：根据具体的任务，LSTM模型的输出可以是一个或多个预测值。例如，在时序预测任务中，输出可以是下一个时间步的预测值；在分类任务中，输出可以是类别标签的概率分布。 2. 形状：输出通常与输入数据的形状相匹配。对于时序预测任务，输出的形状通常是 (样本数, 预测步长, 目标特征数)；对于分类任务，输出的形状通常是 (样本数, 类别数)。 需要注意的是，具体模型的输入和输出格式可能因具体问题而有所不同。在实际应用中，根据具体需求和任务目标，可能需要对输入和输出进行调整和适配。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dianchen_Raw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值