时间序列
文章平均质量分 81
Tony Einstein
人生苦短,我用Python。记录生活,记录成长,天道酬勤,佛系更新。
做一个会思考、会解决问题的思考者!希望得到你的关注、点赞、收藏!
展开
-
训练时间序列 LSTM 模型时,是否要打乱数据呢?
独立的样本:如果你的时间序列数据是独立的,即观测值之间没有时间上的依赖关系或时间关系不重要,那么你可以考虑打乱数据集。通过打乱数据,可以增加样本之间的随机性,防止模型过度依赖于数据的特定排序,并帮助模型更好地泛化到新的样本上。时间序列依赖性:如果你的时间序列数据具有内在的时间依赖性,即后续时间步骤的观测值可能会依赖于之前的观测值,那么建议不要打乱数据集。需要注意的是,打乱数据集可能会破坏时间序列的结构,并丢失特定的时间依赖性。因此,在进行数据打乱之前,建议先仔细考虑你的时间序列数据的性质和任务的要求。原创 2024-01-04 09:30:08 · 1321 阅读 · 0 评论 -
时间序列学习 经典案例(5)【stability_selection的源码bug修改】股票数据特征分析与特征选择
由于目前最新版的stability_selection已经从新版本的sklearn中剔除,所以需要单独安装,但是单独安装的stability_selection模块与旧版本互相不兼容会报错,所以这个时候需要解决这个报错。我已经对stability_selection项目fork进行修改源码修复error,并且已发送pull requests到源项目的请求。所以,可以使用我fork的项目进行安装该模块,已经完美兼容scikit-learn 1.2.2版本。原创 2023-06-08 00:50:34 · 966 阅读 · 2 评论 -
时间序列 工具库学习(18)adtk模块-异常类型
1.异常类型异常是一个广义的概念,它可以指代时间序列中许多不同类型的事件。根据具体情况,价值飙升、波动性转变、违反季节性模式等都可能是异常的或正常的。ADTK 提供了一组通用组件,可以针对不同场景组合成各种类型的异常检测模型。但是,ADTK 不会自动为用户选择或构建模型。用户应该知道要检测哪种类型的异常,因此可以相应地构建模型。https://adtk.readthedocs.io/en/stable/index.html(1)离群值离群值是其值与其他值显着不同的数据点。时间序列时间中的异常点超原创 2022-01-25 16:15:05 · 1937 阅读 · 0 评论 -
时间序列 工具库学习(17) Darts模块-动态时间规整算法(DTW)-衡量序列相似性
1. DTW原创 2022-01-19 19:30:00 · 599 阅读 · 0 评论 -
时间序列 工具库学习(16) Darts模块-高斯过程滤波器( Gaussian Process Filter)
1. 高斯过程滤波器高斯过程滤波器,就像卡尔曼滤波器一样,是Darts中的一个滤波模型(而不是预测模型)。filter teringmodels可以用来平滑序列,或者试图从被噪声破坏的数据中推断出“真实”的数据。在高斯过程中,这是通过假设真实数据点所在的底层函数的形状来完成的。这些假设(例如平滑性,周期性,…)被编码在内核中。将生成一个简单的周期信号,并看看如何使用高斯过程滤波器去噪。导库:%reload_ext autoreload%autoreload 2%matplotlib inline原创 2022-01-19 00:45:00 · 1603 阅读 · 0 评论 -
时间序列 工具库学习(15) Darts模块-Kalman 滤波器进行过滤和预测
1.Kalman 滤波器用于提高受噪声影响的数据质量的卡尔曼滤波算法。白噪声是从任何类型的传感器检索到的数据中的常见成分,需要对其进行过滤。Kalman 滤波器是 Darts 中的另一种模型,因为它是 一个 FilteringModel(而不是 一个 ForecastingModel),可用于平滑级数。在卡尔曼滤波器的情况下,观测值的“实际”(“actual” )基础值是使用线性动力系统的状态空间模型推断的。该系统可以作为输入提供,也可以根据数据进行拟合。将生成一个简单的合成数据集,并了解如何使用卡尔曼原创 2022-01-19 01:45:00 · 563 阅读 · 0 评论 -
时间序列 工具库学习(14) Darts模块-时间融合Transformer( TFT模型)
Darts模块-时间融合Transformer( TFT模型)原创 2022-01-19 01:00:00 · 1253 阅读 · 0 评论 -
时间序列 工具库学习(13) Darts模块-DeepTCN 模型
1.导库使用TCN模型进行概率预测的例子,非常接近https://arxiv.org/abs/1906.04397中描述的DeepTCN模型。from utils import fix_pythonpath_if_working_locallyfix_pythonpath_if_working_locally()%matplotlib inlineimport pandas as pdfrom darts.models import TCNModelimport darts.utils.原创 2022-01-19 00:45:00 · 1376 阅读 · 0 评论 -
时间序列 工具库学习(12) Darts模块-概率循环神经网络(概率RNN)
1.导库概率RNN 受到 DeepAR 的启发,并且几乎与 DeepAR 相同:https://arxiv.org/abs/1704.04110# fix python path if working locallyfrom utils import fix_pythonpath_if_working_locallyfix_pythonpath_if_working_locally()%load_ext autoreload%autoreload 2%matplotlib inline原创 2022-01-19 00:30:00 · 732 阅读 · 0 评论 -
时间序列 工具库学习(11) Darts模块-N-BEATS模型
1.导库N-BEATS是一个最先进的模型,它展示了时间序列预测背景下纯深度学习架构的潜力。它在M3和M4比赛中优于成熟的统计方法。有关模型的更多详细信息,请参见:论文# fix python path if working locallyfrom utils import fix_pythonpath_if_working_locallyfix_pythonpath_if_working_locally()%matplotlib inlineimport numpy as npimport原创 2022-01-19 00:30:00 · 1371 阅读 · 0 评论 -
时间序列 工具库学习(10) Darts模块-Transformer模型
Darts模块-Transformer模型原创 2022-01-18 23:45:00 · 688 阅读 · 0 评论 -
时间序列 工具库学习(9) Darts模块-TCN时间卷积网络
Darts模块-TCN时间卷积网络原创 2022-01-18 23:45:00 · 904 阅读 · 0 评论 -
时间序列 工具库学习(7) Darts模块-快速傅里叶变换预测模型 (FFT)
下面的图表展示**带有随机训练测试拆分的简单 DFT** 很可能会导致糟糕的结果。经过更仔细的观察,可以看到预测(紫色)只是重复训练集(蓝色)。这是DFT的标准行为,它本身是完全无用的,因为重复训练集可以更有效地完成。对这一方法作了三项改进。原创 2022-01-17 16:28:59 · 950 阅读 · 0 评论 -
时间序列 工具库学习(8) Darts模块-RNN递归神经网络模型的使用
1.导库# fix python path if working locallyfrom utils import fix_pythonpath_if_working_locallyfix_pythonpath_if_working_locally()%load_ext autoreload%autoreload 2%matplotlib inlineimport torchimport torch.nn as nnimport torch.optim as optimimpor原创 2022-01-17 22:15:00 · 511 阅读 · 0 评论 -
时间序列 工具库学习(6) Darts模块-使用DataTransformer和Pipelin进行数据预处理
现在,假设都想应用上述转换(**每日平均**),**并在0和1之间缩放数据集**,以使用基于神经网络的预测模型。**可以使用一个Pipeline,而不是分别应用这两个转换,然后分别对它们进行反转。**原创 2022-01-17 16:28:10 · 488 阅读 · 0 评论 -
时间序列 工具库学习(5) Darts模块-多个时间序列、预训练模型和协变量的概念和使用
此笔记本用作以下目的: - 在多个时间序列上训练单个模型 - 使用预训练模型获取训练期间未见的任何时间序列的预测 - 使用协变量训练和使用模型原创 2022-01-17 21:15:00 · 4103 阅读 · 4 评论 -
时间序列 工具库学习(4) Darts模块-快速入门
1.认识DartsDarts 是另一个 Python 包,它有助于时间序列的操作和预测。语法是“sklearn-friendly”,使用fit和predict函数来实现目标。此外,它还包含了从 ARIMA 到神经网络的各种模型。该软件包最好的部分是它不仅支持单变量,而且还支持多变量时间序列和模型。该库还可以方便地对模型进行回溯测试,并将多个模型的预测和外部回归组合起来。安装:pip install darts查看Github: https://github.com/unit8co/darts原创 2022-01-17 08:58:57 · 2298 阅读 · 0 评论 -
时间序列 工具库学习(3) Prophet模块学习
本文用到的数据:[https://download.csdn.net/download/qq_42658739/75940526]原创 2022-01-15 09:21:58 · 557 阅读 · 0 评论 -
时间序列 工具库学习(2) AutoTS模块
有一些基本的事情需要注意,这些事情通常会导致糟糕的结果: - **最新数据中的错误数据(突然下降或缺失值)是导致错误预测的最常见原因。**由于许多模型使用最新数据作为起点,最新数据点中的错误可能会对预测产生过大的影响。 - **具有代表性的交叉验证样本。**模型是根据交叉验证的性能选择的。如果验证不能准确地代表系列,则可能会选择较差的模型。选择一个好的方法和尽可能多的验证。原创 2022-01-12 11:55:21 · 5436 阅读 · 2 评论 -
时间序列 工具库学习(1) tsfresh特征提取、特征选择
1. 更新清单:2022.01.07:初次更新文章2. 了解、安装tsfreshtsfresh 可以自动计算大量的时间序列特性,包含许多特征提取方法和强大的特征选择算法。有一个名为hctsa的 matlab 包,可用于从时间序列中自动提取特征。也可以通过pyopy 包在 Python 中使用 hctsa 。其他可用的打包程序是featuretools、FATS和cesium。pip install tsfresh3.快速使用案例【官网案例】得到了一个包含[1] 中讨论的机器人故障的数据集。该原创 2022-01-07 09:56:33 · 19902 阅读 · 9 评论 -
时间序列学习 经典案例(4)【AutoTS】股票预测
1.读取数据数据链接:加群获取from autots import AutoTSimport matplotlib.pyplot as pltimport pandas as pd# Reading the datadf = pd.read_csv('HistoricalQuotes.csv')df['Close'] = df['Close'].astype(float)df['Date'] = pd.to_datetime(df['Date'])# Plot to see t原创 2022-01-12 16:42:41 · 1424 阅读 · 1 评论 -
时间序列学习 经典案例(3)离散傅里叶变换DFT(案例:时序去噪)
将时域转成频域,然后处理频域中的数据,例如:去除噪声波。之后,可以使用逆向傅里叶 将频域数据转换回时域波。原创 2022-01-11 18:31:21 · 4348 阅读 · 1 评论 -
时间序列学习 经典案例(2)【tsfresh】基于datetime索引的特征提取
1.使用Datetime索引从数据帧(某一个事物的多个时间点组成集合)中提取特征的案例背景在许多情况下,假设定时进行时变测量就足够了。然而,对于大量的任务,在进行测量时考虑到这一点是很重要的。例如医疗保健,生命体征测量的间隔时间包含重要信息。注意:这种提取是针对分类的情况对时间进行提取的,提取之后不再存在显性的时间。一般用于分类聚类,少用于预测,且一般用于不固定的时间间隔。此外,本质上来说这是一种抽取特征的方法,比如本案例中,id 代表了某一个事物,这里有事物a、b,然后事物a 有多个时间点,事物b有原创 2022-01-11 12:06:39 · 1870 阅读 · 0 评论 -
时间序列学习 经典案例(1)【tsfresh】预测多只股票
1.背景将使用 Google、Facebook 和 Alphabet 的股票进行任务。2.获取数据%matplotlib inlineimport numpy as npimport pandas as pdimport matplotlib.pylab as pltfrom tsfresh import extract_features, select_featuresfrom tsfresh.utilities.dataframe_functions import roll_time原创 2022-01-11 10:51:11 · 3046 阅读 · 3 评论 -
时间序列深度学习模型AAAI 2021论文之一Informer的主要代码解读、项目运作、自定义数据集使用
一、前言本文章是对informer开源代码进行自定义数据集(就是如何修改代码以跑通自己的数据集,毕竟原代码仓库没有注释)的使用的代码修改和代码流程解释。二、informer相关论文:https://arxiv.org/abs/2012.07436代码仓库:https://github.com/zhouhaoyi/Informer2020简介:据网上说是被评为AAAI 2021最佳论文,其作者设计了一种专为LSTF (长序列时间序列预测)设计的基于Transformer的改进模型 Informer原创 2021-09-28 16:04:53 · 33777 阅读 · 162 评论 -
[LSTM]时间序列预测存在的问题--滑动窗口是一把双刃剑【持续更新】
问题探究:【真实数据,不是经过加工和改造的,也不是人为生成的】my task:根据历史数据进行时间序列建模,并且进行预测未来。我的数据是time列 和 price列 的dataframe。从2007~2021.02.28的数据。我做的事情是 预测未来的price,注意!不是测试集上的!因为对于时间序列来说,测试集上的预测效果并不能证明模型的好坏,只能说明训练集的拟合好坏!我翻过很多博客文章,也翻过几篇和我的项目相关的论文(国内的)。基本很多博客文章的预测都是针对测试数据集上进行预测的,但是其实测原创 2021-07-20 11:26:08 · 33102 阅读 · 133 评论