时间序列数据特征提取TsFresh

已于 2024-05-15 16:28:05 修改
阅读量3.7k 收藏 26
点赞数 2
分类专栏： 机器学习 & 深度学习 文章标签： python 深度学习 机器学习
于 2022-05-24 15:49:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012856866/article/details/124948110
版权

文章目录

tsfresh是一个Python的时序数据特征挖掘的模块（官网https://tsfresh.readthedocs.io/en/latest/index.html），提取的特征可以用来描述或聚类基于提取特征的时间序列。此外，它们还可以用于构建在时间序列上执行分类/回归任务的模型。

tsfresh能够提取出超过64种特征。本篇主要介绍时间序列时间的特征提取和特征选择。编程环境jupyter notebook。

1. 源码和数据地址

链接：https://pan.baidu.com/s/1VjHgdcIx9WY3VigHMkBCKw
提取码：gqs1

2. TsFresh安装

pip install tsfresh

3. 代码部分说明

3.1 数据下载

from tsfresh.examples.robot_execution_failures import download_robot_execution_failures, load_robot_execution_failures
download_robot_execution_failures()
timeseries, y = load_robot_execution_failures()

数据展示：

timeseries.describe()

在这里插入图片描述

y.head()

在这里插入图片描述

3.2 从文件读取数据

import pandas as pd
import numpy as np
timeseries_csv = pd.read_csv('load_robot_execution_failures_timeseries.csv')
timeseries_csv.describe()

在这里插入图片描述

y_csv = pd.read_csv('load_robot_execution_failures_y.csv',usecols = ['index','value'])
y_csv= pd.Series(np.array(y_csv['value']).tolist(),index =np.array(y_csv['index']).tolist())
y_csv.head()

在这里插入图片描述

4. 提取特征

提取特征主要通过 extract_features 函数实现，包含有多种参数提取模式，以下给出常见的几种：

  • 默认参数
  • ComprehensiveFCParameters：全面特征提取，包括所有没有参数的特征和所有有参数的特征，每个特征都有不同的参数组合。 ；已经封装好，并且把以上特征的参数之类的写好，直接提取即可；
  • EfficientFCParameters：是 ComprehensiveFCParameters 的子类，用于计算那些时间复杂度低的特征；去除 high computational costs 的特征； 如果运行时性能起主要作用，则可以使用此功能。
  • MinimalFCParameters：是 ComprehensiveFCParameters 的子类，选择最小参数进行计算。仅包含少数功能，可用于快速测试。

虽然 tsfresh 能够为时序数据提取多种有效特征，其也有不适合使用的场景，如：

  • 用于流式数据（流式数据是指通常用于在线操作的数据，而时间序列数据通常用于离线操作）
  • 在提取的特征上训练模型
  • 用于高度不规则的时间序列

4.1 默认参数

from tsfresh.feature_extraction import extract_features
extracted_features_0 = extract_features(timeseries, column_id="id", column_sort="time")
extracted_features_0.shape

在这里插入图片描述

4.2 ComprehensiveFCParameters参数

from tsfresh.feature_extraction import extract_features, ComprehensiveFCParameters
# 使用ComprehensiveFCParameters参数
settings = ComprehensiveFCParameters()
extracted_features_1 = extract_features(timeseries, column_id="id", column_sort="time",default_fc_parameters=settings)
extracted_features_1.shape

在这里插入图片描述

4.3 EfficientFCParameters参数

from tsfresh.feature_extraction import extract_features, EfficientFCParameters

settings = EfficientFCParameters()
extracted_features_2 = extract_features(timeseries, column_id="id", column_sort="time",default_fc_parameters=settings)
extracted_features_2.shape

在这里插入图片描述

4.4 MinimalFCParameters参数

from tsfresh.feature_extraction import extract_features, MinimalFCParameters

settings = MinimalFCParameters()
extracted_features_3 = extract_features(timeseries, column_id="id", column_sort="time",default_fc_parameters=settings)
extracted_features_3.shape

在这里插入图片描述

5. 特征选择

提取特征主要通过 select_features 函数实现，包含有多种参数提取模式，以下给出常见的几种：

  • 默认参数
  • ComprehensiveFCParameters参数
  • EfficientFCParameters参数
  • MinimalFCParameters参数

5.1 默认参数

from tsfresh import select_features
from tsfresh.utilities.dataframe_functions import impute

impute(extracted_features_0)
features_filtered_0 = select_features(extracted_features_0, y) #特征选择
features_filtered_0.shape

在这里插入图片描述

5.2 ComprehensiveFCParameters参数

from tsfresh import select_features
from tsfresh.utilities.dataframe_functions import impute

impute(extracted_features_1)
features_filtered_1 = select_features(extracted_features_1, y) #特征选择
features_filtered_1.shape

在这里插入图片描述

5.3 EfficientFCParameters参数

from tsfresh import select_features
from tsfresh.utilities.dataframe_functions import impute

impute(extracted_features_2)
features_filtered_2 = select_features(extracted_features_2, y) #特征选择
features_filtered_2.shape

在这里插入图片描述

5.4 MinimalFCParameters参数

from tsfresh import select_features
from tsfresh.utilities.dataframe_functions import impute

impute(extracted_features_3)
features_filtered_3 = select_features(extracted_features_3, y) #特征选择
features_filtered_3.shape

在这里插入图片描述

6. 特征提取和选择同时进行

提取特征主要通过 extract_relevant_features 函数实现，同样包含有多种参数提取模式。

6.1 默认参数

from tsfresh import extract_relevant_features

features_filtered_direct_0 = extract_relevant_features(timeseries,y, column_id="id", column_sort="time")
features_filtered_direct_0.shape

在这里插入图片描述

6.2 ComprehensiveFCParameters参数

from tsfresh.feature_extraction import ComprehensiveFCParameters
from tsfresh import extract_relevant_features

settings = ComprehensiveFCParameters()
features_filtered_direct_1 = extract_relevant_features(timeseries,y, column_id="id", column_sort="time",default_fc_parameters=settings)
features_filtered_direct_1.shape

在这里插入图片描述

6.3 EfficientFCParameters参数

from tsfresh.feature_extraction import EfficientFCParameters
from tsfresh import extract_relevant_features

settings = EfficientFCParameters()
features_filtered_direct_2 = extract_relevant_features(timeseries,y, column_id="id", column_sort="time",default_fc_parameters=settings)
features_filtered_direct_2.shape

在这里插入图片描述

6.4 MinimalFCParameters参数

from tsfresh.feature_extraction import MinimalFCParameters
from tsfresh import extract_relevant_features

settings = MinimalFCParameters()
features_filtered_direct_3 = extract_relevant_features(timeseries,y, column_id="id", column_sort="time",default_fc_parameters=settings)
features_filtered_direct_3.shape

在这里插入图片描述

7. 常用的特征提取函数详解

这里主要参考博客：

tsfresh 中包含有许多提取特征的函数，首先我们导入相应的数据包，如下所示：

from tsfresh.feature_extraction.feature_calculators import *

7.1 abs_energy(x)

【实现功能】：求取时间序列的平方和
在这里插入图片描述

【参数介绍】：

  • x(pandas.Series) 需要计算特征的时间序列
  • 返回值：特征值
  • 返回值类型：float
  • 函数类型：简单

【函数定义】：

def abs_energy(x):
    """
    Returns the absolute energy of the time series which is the sum over the squared values

    .. math::

        E = \\sum_{i=1,\\ldots, n} x_i^2

    :param x: the time series to calculate the feature of
    :type x: numpy.ndarray
    :return: the value of this feature
    :return type: float
    """
    if not isinstance(x, (np.ndarray, pd.Series)):
        x = np.asarray(x)
    return np.dot(x, x)

7.2 absolute_sum_of_changes(x)

【实现功能】：返回序列x的连续变化的绝对值之和
在这里插入图片描述

【参数介绍】：

  • x(pandas.Series) 需要计算特征的时间序列
  • 返回值：特征值
  • 返回值类型：float
  • 函数类型：简单

7.3 agg_autocorrelation(x, param)

【实现功能】：计算聚合函数f_agg(例如方差或者均值)处理后的自相关性，在一定程度可以衡量数据的周期性质，l表示滞后值，如果某个l计算出的值比较大，表示改时序数据具有l周期性质。

在这里插入图片描述
其中，n是时间序列Xi的长度，σ2是方差，μ表示均值

【参数介绍】：

  • x(pandas.Series) 需要计算特征的时间序列
  • 返回值：特征值
  • 返回值类型：float
  • 函数类型：简单

7.4 agg_linear_trend(x, param)

【实现功能】：对时序分块聚合后（max, min, mean, meidan），然后聚合后的值做线性回归，算出 pvalue(),rvalue(相关系数), intercept(截距), slope(斜率), stderr(拟合的标准差)。

7.5 approximate_entropy(x, m, r)

近似熵，用来衡量一个时间序列的周期性、不可预测性和波动性。

7.6 ar_coefficient(x, param)

自回归模型系数，适用于极大似然估计的AR(k)模型，参数k是滞后项。
在这里插入图片描述

7.7 autocorrelation(x, lag)

滞后lag的自相关系数。
在这里插入图片描述

参考资料

【1】 tsfresh官网：https://tsfresh.readthedocs.io/en/latest/text/introduction.html
【2】时序数据处理工具-时间序列数据特征提取TsFresh：https://blog.csdn.net/qq_22290797/article/details/108637240
【3】时间序列 工具库学习（1） tsfresh特征提取、特征选择

酒酿小圆子～
关注
  • 2
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
几行 Python 代码就可以提取数百个时间序列特征
python12345_的博客
04-13 662
时间序列数据是随着时间的推移反复捕获的变量值，随着时间的推移可以产生一系列的按时间顺序索引的数据点。在时间序列中，数据具有自然的时间顺序，即一个变量在特定时间的值依赖于过去的值。传统的机器学习算法不能捕捉时间序列数据的时间顺序。数据科学家需要执行相关的特征工程，将数据的重要特征捕获到几个指标中。生成大量的时间序列特征并从中提取相关特征是一项耗时且繁琐的工作。python的tsfresh包可以为时间序列数据生成标准的数百个通用特性。在本文中，我们将深入讨论tsfresh包的使用。
时序数据特征提取方法
weixin_43910935的博客
03-06 1万+
在对如传感器数据等时间序列数据进行机器学习时，特征提取是非常重要的一环，本文主要介绍时序数据特征提取的几种方法。 1 时域与频域 时域和频域是信号的基本性质，这样可以用多种方式来分析信号，每种方式提供了不同的角度。解决问题的最快方式不一定是最明显的方式，用来分析信号的不同角度称为域。时域频域可清楚反应信号与互连线之间的相互影响。 时域（Time domain）是描述数学函数或物理信号对时间的关系。例如一个信号的时域波形可以表达信号随着时间的变化。是真实世界，是惟一实际存在的域。因为我们的经历都是在时域中发展
时间序列预测：特征工程实用指南（二）
qq_42959513的博客
07-19 949
对于类别型变量，如果类别比较少，一般在机器学习里做的处理是one-hot encoding，但是如果类别一多，那么生成的特征是会很多的，容易造成维度灾难，但是也不能随便用label encoding，因为很多时候类别是不反应顺序的，如果给他编码成1、2、3、4、5，对于一些树模型来说，在分裂节点的时候可不管这些是类别型还是连续型，通通当作连续型来处理，这是有先后顺序的，肯定不能这么做。在独热编码中，每个类别都由一个长度等于类别总数的向量表示，其中只有一个元素为1（表示类别存在），其他元素为0。
tsfresh:一款表现出色的自动化提取时序特征的 Python 工具包
Python数据挖掘
07-24 4995
大家好，今天给大家分享一款Python工具包，tsfresh是一个自动化提取时序特征的库。https●tsfresh文档https图1时序简易特征示意图以KDD2022风电时序数据集为例，分享下tsfresh使用体验，风电训练集的时间长度是245天，每隔10分钟有采样样本，然后有134个风机，所以一共有134*245*144=4272520，约427w条数据。基础特征有10个左右。预测目标是有功功率Patv。1.数据准备准备符合tsfresh输入格式的数据集；2.样本抽样{...
时间序列特征提取之tsfresh详细使用
AI蜗牛车
02-03 1425
一、前言对于时间序列特征工程，有很多自动特征工程的工具，这篇文章主要讲tsfresh二、tsfreshdoc：https://tsfresh.readthedocs.io/en/latest/index.html2.1 安装pip install tsfresh2.2 数据格式这点主要是和 tsfresh.extract_features 的参数相关，主要是column_id和column_sor...
时序数据数据预处理、特征提取代码。分段特征、统计特征、熵特征。时间序列
06-30
时序数据数据预处理、特征提取代码。分段特征、统计特征、熵特征。
时间序列-第三方库：tsfresh【特征提取、特征选择】
u013250861的博客
07-22 1970
有一个名为hctsa的matlab包，可用于从时间序列中自动提取特征。tsfresh用于从时间序列和其他序列数据中进行系统特征工程。这些数据的共同点是它们按自变量排序。最常见的自变量是时间（时间序列）。tsfresh用于从时间序列和其他序列数据中进行系统特征工程。这些数据的共同点是它们按自变量排序。最常见的自变量是时间（时间序列）。tsfresh自动计算并自动返回所有这些特征。tsfresh可以自动计算大量的时间序列特性，包含许多特征提取方法和强大的特征选择算法。时间序列数据通常用于离线操作）...
时序数据特征提取
热门推荐
LaoChen_ZeroonE
07-13 2万+
时序数据特征提取时间序列的表示方法分段线性表示分段线性表示符号化聚合近似时间序列的相似性度量方法Ｍｉｎｋｏｗｓｋｉ距离动态时间弯曲符号化距离基于模型的距离度量方法时间序列的特征提取方法基于统计特征的分类特征提取基于构建模型的分类特征提取基于变换的分类特征提取基于分形理论的分类特征提取 特征提取在提高分类的准确性中起着非常关键的作用. 对时序特征提取的方法进行归纳分类, 将有利于对特征提取整体性, 全面性的认识. 回顾现有的时间序列中特征提取的方法, 将其总结为四大类, 它们分别是基于基本统计方法的特征提取、
时间序列 工具库学习（1） tsfresh特征提取、特征选择
酒心★
01-07 1万+
1. 更新清单： 2022.01.07：初次更新文章 2. 了解、安装tsfresh tsfresh 可以自动计算大量的时间序列特性，包含许多特征提取方法和强大的特征选择算法。 有一个名为hctsa的 matlab 包，可用于从时间序列中自动提取特征。也可以通过pyopy 包在 Python 中使用 hctsa 。其他可用的打包程序是featuretools、FATS和cesium。 pip install tsfresh 3.快速使用案例【官网案例】 得到了一个包含[1] 中讨论的机器人故障的数据集。该
时间序列数据特征提取TsFresh--入门简介【附源码+数据】
每天进步一点点
09-17 9932
时间序列数据特征提取TsFresh–入门简介 简介 tsfresh用于从时间序列中提取特征。本篇主要介绍时间序列时间特征的拓展和过滤。编程环境jupyter notebook 源码和数据地址 链接：https://pan.baidu.com/s/1VjHgdcIx9WY3VigHMkBCKw 提取码：gqs1 TsFresh安装 pip install tsfresh 代码部分说明 数据下载 from tsfresh.examples.robot_execution_failures import dow
时间序列数据特征提取TsFresh-入门简介【附源码+数据】
11-07
时间序列数据特征提取TsFresh--入门简介【附源码+数据】，博客地址https://blog.csdn.net/qq_22290797/article/details/108637240?spm=1001.2014.3001.5501
Python-tsfresh从时间序列自动提取相关的特性可用于预测
08-11
tsfresh 从时间序列自动提取相关的特性，可用于预测
数据挖掘中的时序特征提取方法
06-26
主要讲解数据挖掘 中用于分类的时序数据特征提取方法，很好的学习资料
tsfresh 从时间序列自动提取相关的特性，可用于预测-python
06-18
tsfresh 从时间序列自动提取相关的特性，可用于预测 tsfresh 这个存储库包含 TSFRESH python 包。 缩写代表“基于可扩展假设检验的时间序列特征提取”。 该软件包包含许多特征提取方法和强大的特征选择算法。 在特征工程上花费更少的时间数据科学家通常将大部分时间花在清理数据或构建特征上。 虽然我们无法改变第一件事，但第二件事可以自动化。 TSFRESH 通过自动提取特征来节省您花在构建特征上的时间。 因此，您有更多时间学习最新的深度学习论文、阅读黑客新闻或构建更好的模型。 自动提取上百个特征 TSFRESH 自动从时间序列中提取上百个特征。 这些特征描述了时间序列的基本特征，例如峰值数量、平均值或最大值或更复杂的特征，例如时间反转对称统计量。 然后，这组特征可用于在时间序列上构建统计或机器学习模型，以用于例如回归或分类任务。 忘记不相关的特征 时间序列通常包含噪声、冗余或不相关的信息。 因此，大多数提取的特征对手头的机器学习任务没有用处。 为了避免提取不相关的特征，TSFRESH 包有一个内置的过滤程序。 此过滤程序评估每个特征对手头的回归
数据特征工程 | Python实现时间序列数据特征提取
前程算法屋的博客
08-20 970
数据特征工程 | Python实现时间序列数据特征提取
时域特征提取MATLAB,强大的时间序列多特征提取工具介绍
weixin_35176891的博客
03-19 2665
hctsa对时间序列进行特征提取的使用流程时间序列在许多领域中都有重要应用,如信号分析、金融量化分析、气象分析以及人体行为分析等等。通常对时间序列的处理需要进行特征分析, 关于特征提取分析的问题，主要是时域和频域特征，用滑动窗口提取特征，比如平均数、方差、过零率等，还有傅里叶变换后的幅度、频率、均值等。而这种特征分析通常需要一些特定领域内的专业知识，因此也就进一步提升了预处理的门槛。例如压力脉搏信...
tsfresh四分位_时间序列挖掘分析：tsfresh特征中文（一）
weixin_33322743的博客
01-17 891
tsfresh是一个Python的时序数据特征挖掘的模块(官网https://tsfresh.readthedocs.io/en/latest/index.html，安装可用pip install tsfresh)，提取的特征可以用来描述或聚类基于提取特征的时间序列。此外，它们还可以用于构建在时间序列上执行分类/回归任务的模型。通常，这些特性为时间序列及其动态特性提供了新的见解。该项目总共涉及64...
大神们都是如何在时间序列中进行特征提取的？看完就懂了！
CSDN云计算
11-16 1万+
作者 |Sharmistha Chatterjee翻译 | 火火酱~，责编 | 晋兆雨出品 |CSDN云计算头图 | 付费下载于视觉中国介绍现在，对于各类机构而言，需要收集的数据越来越...
时间序列分析中的特征提取
最新发布
gongdiwudu的专栏
08-21 1025
在多变量时间序列分析期间，数据包含随时间推移测量的多个数据。为了管理模型性能，建议进行特征提取，以使模型的数据点更加紧凑。
Python 时间序列特征衍生
05-19
时间序列的特征衍生是指从已有的时间序列数据中抽取新特征，以更好地描述时间序列的性质和规律。下面列举一些常用的时间序列特征衍生方法： 1. 移动平均：可以计算不同时间窗口内的平均值，例如5天、10天或30天的移动平均值，这些平均值都可以作为新的特征。 2. 指数加权移动平均：类似于移动平均，但是对最近的数据赋予更高的权重，可以更好地反映时间序列的趋势。 3. 时间差分：计算相邻两个数据点之间的时间差，可以用于描述时间序列的波动性和变化率。 4. 周期性统计量：计算时间序列在不同时间尺度上的周期性统计量，例如周、月、季度等，可以用于描述时间序列的季节性变化，例如季节性趋势和周期性振荡。 5. 自回归模型：使用过去的时间序列值来预测未来的值，可以提取自回归模型的系数作为新的特征。 6. 滞后变量：计算时间序列在不同时间滞后下的值，例如一个月前、三个月前的值，可以用于描述时间序列的滞后效应。 7. 峰度和偏度：计算时间序列的峰度和偏度，可以用于描述时间序列的分布形态，例如是否对称、是否尖峰或平缓等。 8. 时间序列分解：将时间序列分解为趋势、季节性和残差三个部分，可以用于描述时间序列的长期趋势、季节性变化和随机波动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值