tsfresh加速

已于 2024-07-12 10:51:24 修改
阅读量96 收藏
点赞数 4
文章标签： 时序数据库
于 2024-07-12 09:45:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Simplepig/article/details/140370243
版权

整体感受这个库挺慢的

因为速度太慢了，想知道有没有什么方法可以加速，就去看了看大佬们的讨论。

总结如下

存在问题

  • 目前没有GPU加速。
  • 主要问题在于CPU上的UDF运行瓶颈

暂定的解决方案：

extracted_features中默认的default_fc_parameters设置为efficientFCParameters

速度提升约一倍

底层库保持单核

google colab上测试几乎没有作用。可能是因为google分配的配置问题？

在公司的集群下测试有效果。速度由330min -> 30min  大概提升了10倍

Simplepig
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
阅读笔记：Time Series FeatuRe Extraction on basis of Scalable Hypothesis tests（Python package）
图不灵的博客
08-23 1599
阅读笔记：Time Series FeatuRe Extraction on basis of Scalable Hypothesis tests (tsfresh – A Python package) 摘要： 时间序列特征工程是一个耗时的过程，因为科学家和工程师必须考虑信号处理和时间序列分析的多种算法，以便从时间序列中识别和提取有意义的特征。Python工具包tsfresh（基于可扩展假设...
探索未来数据挖掘：TSFRESH——智能时间序列特征提取库
gitblog_00036的博客
03-20 375
探索未来数据挖掘：TSFRESH——智能时间序列特征提取库 项目地址:https://gitcode.com/blue-yonder/tsfresh 在大数据时代，时间序列分析成为了许多领域（如金融、物联网、工业4.0）的关键工具。TSFRESH 是一个开源Python库，专门用于自动提取大量时间序列数据的特征，为机器学习和数据分析提供强大支持。 项目简介 TSFRESH，全称为“Time Ser...
Time Series FeatuRe Extraction on basis of Scalable Hypothesis tests (tsfresh –A Python package)
qq_41592222的博客
07-24 740
【英文翻译】Time Series FeatuRe Extraction on basis of Scalable Hypothesis tests (tsfresh –A Python package)
全球的MLOps和ML工具概览
吃果冻不吐果冻皮
12-13 2973
摘要 对于人工智能领域的任何人来说，MLOps一词是解决所有问题的一个神奇词汇。 它结合了所有与机器学习相关的任务，从管理、处理和可视化数据、运行和跟踪实验到将创建的模型投入生产，理想情况下是大规模、合规和安全的。它定义了实施ML工作以创建基于AI的应用程序和服务的过程。 我们在MLOps这个市场开展业务，但我们对还有哪些其他工具、平台和服务只有一个粗略的概念。 为了找到答案，我们对相关供应商进行了全面的搜索，一共找到了300多家！ 我们决定整理我们发现的活跃项目，只列出那些专门针对机器学习任务和目标的项目
【时间序列】JDD人口动态普查与预测,2018(正逆向时序建模)
AI蜗牛车
03-21 753
本文是关于时间序列处理的, 以JDD人口动态普查与预测比赛为例，本文中的注释相对少很多，至于每个部分为何这么做，会不会过拟合等细节希望大家自己揣摩，本文的代码部分偏多,希望大家自己好好学习...
tsfresh快速入门，自动计算大量的时间序列特征！
weixin_52629177的博客
07-11 917
tsfresh快速入门指北，将tsfresh文档全部撸一遍，并附有完整代码讲解。发现没人讲这个，自己用到了就做个博客方便后续查看
pandarallel 小坑记录 ValueError: Number of processes must be at least 1
qq_51972119的博客
08-09 1686
得到的结果是空的，parallel_apply直接就报错跑不了了，这应该算没 fix 的bug。用pandas跑数据时发现数据量太大，用pandarallel库并行加快速度。报错：Number of processes must be at least 1
python特征提取方法_行为识别常用哪种特征提取？
weixin_39759881的博客
12-03 1489
我是中科院计算所的博士研究生，以前做过一些行为识别方面的研究。这里提供几个链接：一、我的github上关于机器学习及行为识别的资料，有课程有资料有论文，比较详细：GitHub - jindongwang/MachineLearning: 一些关于机器学习的学习资料与研究介绍 GitHub - jindongwang/activityrecognition: Information about ac...
【机器学习】开源时间序列工具包汇总
fengdu78的博客
06-21 67
作者：杰开源时间序列工具包汇总。01TSFresh(6.3k+)https://tsfresh.readthedocs.io/en/latest/tsfresh是一个python包，它会自动计算大量的时间序列特征。此外，该软件包还包含评估此类特征对回归或分类任务的解释能力和重要性的方法。tsfresh可以自动提取特征构建特征。如下图所示，tsfresh可以自动从时间序列中提取100秒的特征。这些特...
tsfresh 从时间序列自动提取相关的特性，可用于预测-python
06-18
tsfresh 从时间序列自动提取相关的特性，可用于预测 tsfresh 这个存储库包含 TSFRESH python 包。 缩写代表“基于可扩展假设检验的时间序列特征提取”。 该软件包包含许多特征提取方法和强大的特征选择算法。 在...
Python-tsfresh从时间序列自动提取相关的特性可用于预测
08-11
Python的tsfresh库是一个强大的工具，专门用于从时间序列数据中自动提取特征，这些特征可以进一步用于各种机器学习和预测任务。tsfresh基于特征选择算法，能够处理大规模时间序列数据，并且无需人工干预就能生成一...
时间序列数据特征提取TsFresh-入门简介【附源码+数据】
11-07
时间序列数据特征提取TsFresh--入门简介【附源码+数据】，博客地址https://blog.csdn.net/qq_22290797/article/details/108637240?spm=1001.2014.3001.5501
AI机器学习时序序列特征提取实现分类预测实战
01-14
AI机器学习时序序列特征提取实现分类预测实战，通过心电图分类模型实现...验证了对于小数据量，通过tsfresh提取时序特征，往往能够取得很好的效果。资源包括AI机器学习时序序列特征提取实战文档说明、源代码、数据集。
Nox的时间序列预测基于lstm的航班乘客预测项目源码+数据集，用到了lstm模型，基于Keras，tsfresh，numpy包
03-19
Nox的时间序列预测基于lstm的航班乘客预测项目源码+数据集，用到了lstm模型，基于Keras，tsfresh，numpy包 安装教程 环境初始化 安装框架flaskpip3 install flask 安装tensorflow，keras等依赖 pip3 install ...
时序数据库-03-opentsdb-分布式时序数据库
07-20 1152
StumbleUpon编写了一个名为tcollector的Python框架，用于从Linux 2.6，Apache的HTTPd，MySQL，HBase，memcached，Varnish等中收集数千个指标。如果找不到满足需求的工具，则可能需要编写从系统中收集数据的脚本（例如，通过从Linux上的/ proc读取有趣的指标，通过SNMP从网络设备收集计数器，或者从您的应用程序，通过JMX，例如Java应用程序），并定期将数据点推送到其中一个TSD。
pi_heif-0.17.0-cp39-cp39-manylinux_2_31_armv7l.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
ubuntu20.04-ssh9.8p1-ssl3.0.14-focal-deb-amd64升级加固脚本.zip
07-27
若有新版本请查看文章最后附件地址：https://blog.csdn.net/liuxin638507/article/details/132450367 特点： 1、同时升级openssh与openssl，采用deb包形式，一键快速升级版本，无需每台单独再次进行编译， 2、隐藏openssh-版本号(openssh9.8p1及之后隐藏版本号还未找到方法) 3、已默认安全加固（已有配置跳过） 安装： 执行 bash upgrade_ssl_ssh_ubuntu.sh 进行安装 注意，升级安装后，确保sshd服务正常，请新开终端进行验证测试 验证 openssl版本： openssl version OpenSSL 3.0.14 4 Jun 2024 (Library: OpenSSL 3.0.14 4 Jun 2024) openssh版本： ssh -V OpenSSH_9.8p1, OpenSSL 3.0.14 4 Jun 2024
avif-0.5.0-cp36-cp36m-manylinux1_i686.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
tsfresh安装
05-24
要安装tsfresh，可以使用pip命令。在命令行中输入以下命令即可： ```bash pip install tsfresh ``` 如果你想升级tsfresh到最新版本，可以使用以下命令： ```bash pip install --upgrade tsfresh ``` 请确保你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值