基于机器学习的BTC时间序列数据异常检测(Python)

于 2024-09-02 13:37:16 发布
阅读量167 收藏 6
点赞数 10
分类专栏： 机器学习 深度学习 信号处理 文章标签： 机器学习 python 人工智能 重构 开发语言 聚类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39402231/article/details/141817594
版权
信号处理 同时被 3 个专栏收录
347 篇文章 29 订阅
订阅专栏
机器学习
191 篇文章 1 订阅
订阅专栏
深度学习
152 篇文章 5 订阅
订阅专栏 
pip install orion-ml
pip install ml-stars
import pandas as pd
from binance import Client
from dotenv import dotenv_values
from datetime import datetime


config = dotenv_values('.env')
client = Client(config.get('KEY'), config.get('SECRET_KEY'))
TICKER = 'BTCUSDT'
start_date = datetime(2017, 9, 1)
end_date = datetime(2024, 4, 1)


start_date_str = start_date.strftime('%d %b, %Y')
end_date_str = end_date.strftime('%d %b, %Y')


klines = client.get_historical_klines(TICKER, client.KLINE_INTERVAL_1DAY, start_date_str, end_date_str)
dataBTC = pd.DataFrame(
    data=[row[1:7] for row in klines],
    columns=['Open', 'High', 'Low', 'Close', 'Volume', 'Date'],
).set_index('Date')
dataBTC.index = pd.to_datetime(dataBTC.index, unit='ms')
dataBTC = dataBTC.sort_index()
dataBTC = dataBTC.apply(pd.to_numeric, axis=1)
dataBTC
OpenHighLowCloseVolume
Date
2017-09-01 23:59:59.9994689.894885.554654.884834.91560.666366
2017-09-02 23:59:59.9994796.164939.194286.874472.14929.148595
2017-09-03 23:59:59.9994508.504714.764298.334509.08691.216198
2017-09-04 23:59:59.9994505.004527.493972.514100.111394.644614
2017-09-05 23:59:59.9994106.974484.993603.004366.471228.938157
..................
2024-03-28 23:59:59.99969469.9971552.0668903.6270780.6035439.032390
2024-03-29 23:59:59.99970780.6070916.1669009.0069850.5425445.083530
2024-03-30 23:59:59.99969850.5370321.1069540.0069582.1813644.611420
2024-03-31 23:59:59.99969582.1771366.0069562.9971280.0119396.344330
2024-04-01 23:59:59.99971280.0071288.2368062.8669649.8041445.320390

2405 rows × 5 columns

dataBTC=dataBTC.reset_index()
dataBTC
Date_onlyOpenHighLowCloseVolume
02017-09-014689.894885.554654.884834.91560.666366
12017-09-024796.164939.194286.874472.14929.148595
22017-09-034508.504714.764298.334509.08691.216198
32017-09-044505.004527.493972.514100.111394.644614
42017-09-054106.974484.993603.004366.471228.938157
.....................
24002024-03-2869469.9971552.0668903.6270780.6035439.032390
24012024-03-2970780.6070916.1669009.0069850.5425445.083530
24022024-03-3069850.5370321.1069540.0069582.1813644.611420
24032024-03-3169582.1771366.0069562.9971280.0119396.344330
24042024-04-0171280.0071288.2368062.8669649.8041445.320390

2405 rows × 6 columns

#Train test split
train = dataBTC.iloc[:int(len(dataBTC)*0.7)]
train_data = train.drop(columns={'Date', 'Open', 'High', 'Low', 'Volume'})
train_data=train_data.rename(columns={'Close': 'value'})
train_data
timestampvalue
01.504224e+124834.91
11.504310e+124472.14
21.504397e+124509.08
31.504483e+124100.11
41.504570e+124366.47
.........
16781.649203e+1243170.47
16791.649290e+1243444.19
16801.649376e+1242252.01
16811.649462e+1242753.97
16821.649549e+1242158.85

1683 rows × 2 columns

test = dataBTC.iloc[int(len(dataBTC)*0.7)+1:]
from orion import Orion
train_data
timestampvalue
01.504224e+124834.91
11.504310e+124472.14
21.504397e+124509.08
31.504483e+124100.11
41.504570e+124366.47
.........
16781.649203e+1243170.47
16791.649290e+1243444.19
16801.649376e+1242252.01
16811.649462e+1242753.97
16821.649549e+1242158.85

1683 rows × 2 columns

from orion.analysis import analyze
hyperparameters = {
    'keras.Sequential.LSTMTimeSeriesRegressor#1': {
        'epochs': 5,
        'verbose': True
        
    }
}
pipeline = 'lstm_dynamic_threshold'
anomalies = analyze(pipeline, train_data, hyperparams=hyperparameters)
from orion.data import load_signal
train_data
timestampvalue
01222819200-0.366359
11222840800-0.394108
212228624000.403625
31222884000-0.362759
41222905600-0.370746
.........
28131283580000-0.365308
281412836016001.000000
28151283623200-0.341357
28161283644800-0.392546
281712836664001.000000

2818 rows × 2 columns

dataBTC['Date_only']=dataBTC.index.strftime('%Y-%m-%d')
dataBTC['Date_only']=pd.to_datetime(dataBTC['Date_only'])
dataBTC=dataBTC.set_index(dataBTC['Date_only'])
dataBTC
OpenHighLowCloseVolumeDate_only
Date_only
2017-09-014689.894885.554654.884834.91560.6663662017-09-01
2017-09-024796.164939.194286.874472.14929.1485952017-09-02
2017-09-034508.504714.764298.334509.08691.2161982017-09-03
2017-09-044505.004527.493972.514100.111394.6446142017-09-04
2017-09-054106.974484.993603.004366.471228.9381572017-09-05
.....................
2024-03-2869469.9971552.0668903.6270780.6035439.0323902024-03-28
2024-03-2970780.6070916.1669009.0069850.5425445.0835302024-03-29
2024-03-3069850.5370321.1069540.0069582.1813644.6114202024-03-30
2024-03-3169582.1771366.0069562.9971280.0119396.3443302024-03-31
2024-04-0171280.0071288.2368062.8669649.8041445.3203902024-04-01

2405 rows × 6 columns

dataBTC=dataBTC.drop(columns='Date_only')
dataBTC
OpenHighLowCloseVolume
Date_only
2017-09-014689.894885.554654.884834.91560.666366
2017-09-024796.164939.194286.874472.14929.148595
2017-09-034508.504714.764298.334509.08691.216198
2017-09-044505.004527.493972.514100.111394.644614
2017-09-054106.974484.993603.004366.471228.938157
..................
2024-03-2869469.9971552.0668903.6270780.6035439.032390
2024-03-2970780.6070916.1669009.0069850.5425445.083530
2024-03-3069850.5370321.1069540.0069582.1813644.611420
2024-03-3169582.1771366.0069562.9971280.0119396.344330
2024-04-0171280.0071288.2368062.8669649.8041445.320390

2405 rows × 5 columns

from sklearn.preprocessing import StandardScaler
from orion import Orion
from orion.primitives.tadgan import TadGAN


parameters = {
    "mlstars.custom.timeseries_preprocessing.time_segments_aggregate#1": {
            "interval": 3600 # hour level
    },'sklearn.preprocessing.MinMaxScaler#1': {
        'feature_range': (-1, 1)
    },
    
    'orion.primitives.tadgan.TadGAN#1': {
        'epochs': 5,
    }
}


orion = Orion(
    'tadgan',
    parameters
)


anomalies = orion.fit_detect(train_data)
Epoch: 1/5, Losses: {'cx_loss': -1.0073, 'cz_loss': -30.4356, 'eg_loss': 43.7877}
Epoch: 2/5, Losses: {'cx_loss': -0.8315, 'cz_loss': 0.0683, 'eg_loss': 4.7679}
Epoch: 3/5, Losses: {'cx_loss': -0.8058, 'cz_loss': 2.8823, 'eg_loss': -1.6866}
Epoch: 4/5, Losses: {'cx_loss': -0.7831, 'cz_loss': 3.6786, 'eg_loss': -1.7423}
Epoch: 5/5, Losses: {'cx_loss': -1.0498, 'cz_loss': 4.5926, 'eg_loss': -7.7526}
1259/1259 [==============================] - 87s 68ms/step
1259/1259 [==============================] - 76s 59ms/step
1259/1259 [==============================] - 11s 9ms/step
anomalies
startendseverity
0161308440016145640000.652743
1161749080016184916000.209329
train_data
timestampvalue
015042240004834.91
115043104004472.14
215043968004509.08
315044832004100.11
415045696004366.47
.........
1678164920320043170.47
1679164928960043444.19
1680164937600042252.01
1681164946240042753.97
1682164954880042158.85

1683 rows × 2 columns

import matplotlib.pyplot as plt
from matplotlib.patches import Rectangle
fig, ax = plt.subplots(figsize=(16, 8))
plt.plot(train_data['timestamp'], train_data['value'])
plt.axvspan(1613084400, 1614564000, alpha=0.2, color='red')
plt.axvspan(1617490800,1618491600, alpha=0.2, color='red' )


# Customize the plot
plt.xlabel("Time")
plt.ylabel("Value")
plt.title("TadGan detection")
plt.grid(True)
plt.show()

dataBTC
Date_onlyOpenHighLowCloseVolume
02017-09-014689.894885.554654.884834.91560.666366
12017-09-024796.164939.194286.874472.14929.148595
22017-09-034508.504714.764298.334509.08691.216198
32017-09-044505.004527.493972.514100.111394.644614
42017-09-054106.974484.993603.004366.471228.938157
.....................
24002024-03-2869469.9971552.0668903.6270780.6035439.032390
24012024-03-2970780.6070916.1669009.0069850.5425445.083530
24022024-03-3069850.5370321.1069540.0069582.1813644.611420
24032024-03-3169582.1771366.0069562.9971280.0119396.344330
24042024-04-0171280.0071288.2368062.8669649.8041445.320390

2405 rows × 6 columns

train
DatetimestampOpenHighLowCloseVolume
02017-09-01 23:59:59.9991.504224e+124689.894885.554654.884834.91560.666366
12017-09-02 23:59:59.9991.504310e+124796.164939.194286.874472.14929.148595
22017-09-03 23:59:59.9991.504397e+124508.504714.764298.334509.08691.216198
32017-09-04 23:59:59.9991.504483e+124505.004527.493972.514100.111394.644614
42017-09-05 23:59:59.9991.504570e+124106.974484.993603.004366.471228.938157
........................
16782022-04-06 23:59:59.9991.649203e+1245497.5445507.1443121.0043170.4760849.329360
16792022-04-07 23:59:59.9991.649290e+1243170.4743900.9942727.3543444.1937396.541560
16802022-04-08 23:59:59.9991.649376e+1243444.2043970.6242107.1442252.0142375.042030
16812022-04-09 23:59:59.9991.649462e+1242252.0242800.0042125.4842753.9717891.660470
16822022-04-10 23:59:59.9991.649549e+1242753.9643410.3041868.0042158.8522771.094030

1683 rows × 7 columns

train_data
timestampvalue
01.504224e+124834.91
11.504310e+124472.14
21.504397e+124509.08
31.504483e+124100.11
41.504570e+124366.47
.........
16781.649203e+1243170.47
16791.649290e+1243444.19
16801.649376e+1242252.01
16811.649462e+1242753.97
16821.649549e+1242158.85

1683 rows × 2 columns

timestamps = pd.to_datetime(train['timestamp'], unit='ms')
train_data['timestamp'] = timestamps.values.astype(np.int64) // 10 ** 9
train_data
timestampvalue
015042240004834.91
115043104004472.14
215043968004509.08
315044832004100.11
415045696004366.47
.........
1678164920320043170.47
1679164928960043444.19
1680164937600042252.01
1681164946240042753.97
1682164954880042158.85

1683 rows × 2 columns

df= (dataBTC.Close-dataBTC['Close'].mean())/dataBTC['Close'].std()
df
0      -1.027892
1      -1.049285
2      -1.047106
3      -1.071224
4      -1.055516
          ...   
2400    2.860970
2401    2.806123
2402    2.790298
2403    2.890420
2404    2.794285
Name: Close, Length: 2405, dtype: float64
dataBTC['Standardized_Close']=df
dataBTC=dataBTC.set_index(dataBTC['Date_only'])
dataBTC
Date_onlyOpenHighLowCloseVolumeStandardized_Close
Date_only
2017-09-012017-09-014689.894885.554654.884834.91560.666366-1.027892
2017-09-022017-09-024796.164939.194286.874472.14929.148595-1.049285
2017-09-032017-09-034508.504714.764298.334509.08691.216198-1.047106
2017-09-042017-09-044505.004527.493972.514100.111394.644614-1.071224
2017-09-052017-09-054106.974484.993603.004366.471228.938157-1.055516
........................
2024-03-282024-03-2869469.9971552.0668903.6270780.6035439.0323902.860970
2024-03-292024-03-2970780.6070916.1669009.0069850.5425445.0835302.806123
2024-03-302024-03-3069850.5370321.1069540.0069582.1813644.6114202.790298
2024-03-312024-03-3169582.1771366.0069562.9971280.0119396.3443302.890420
2024-04-012024-04-0171280.0071288.2368062.8669649.8041445.3203902.794285

2405 rows × 7 columns

dataBTC['Standardized_Close'].plot(figsize=(16,8), title='Standardized BTC price')

知乎学术咨询：https://www.zhihu.com/consult/people/792359672131756032?isMe=1

担任《Mechanical System and Signal Processing》等审稿专家，擅长领域：信号滤波/降噪，机器学习/深度学习，时间序列预分析/预测，设备故障诊断/缺陷检测/异常检测。

分割线

基于机器学习（霍特林统计量，高斯混合模型，支持向量机）的NASA涡扇发动机退化模拟数据异常检测（MATLAB R2021B）

完整代码可通过知乎学术咨询获得：

https://www.zhihu.com/consult/people/792359672131756032?isMe=1

哥廷根数学学派
关注
  • 10
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
（15-6）基于时间序列预测的比特币自动交易系统：创建机器学习模型
码农三叔
01-31 1285
执行后，对于每个模型（Linear Regression模型、XGBoost Regressor 模型、Random Forest Regressor 模型），将绘制一个交互式的线形图，展示原始的比特币关闭价格（Close Price）、训练集的预测关闭价格和测试集的预测关闭价格。最后，打印出处理后的数据框形状，确保数据处理的正确性。具体而言，上述代码的功能是将训练集和测试集的预测结果从归一化的形式转换回原始的货币单位（USD），这样可以更好地理解模型的预测结果，并进行进一步的分析。
使用机器学习进行时间序列预测
gitblog_00053的博客
05-08 426
使用机器学习进行时间序列预测 time-series-machine-learningMachine learning models for time series analysis项目地址:https://gitcode.com/gh_mirrors/ti/time-series-machine-learning 在这个开源项目中，我们集合了各种机器学习模型，用于预测特定货币对的价格走势，尤其...
Python用GRU神经网络模型预测比特币价格时间序列数据2案例可视化|附代码数据...
拓端研究室TRL
06-04 679
全文链接:https://tecdat.cn/?p=36389门控循环单元（GRU）是一种循环神经网络（RNN）类型，旨在有效地捕获序列数据中的长期依赖关系。它是传统RNN的扩展，与长短期记忆（LSTM）网络具有相似性（点击文末“阅读原文”获取完整代码数据）。相关视频我们将简要了解GRU模型以及如何帮助客户在PyThon中使用GRU实现序列数据预测。GRU简介GRU背后的核心思想是解决梯度消失问题...
Python数据分析之数据探索分析(EDA)
吉姆0818
10-11 1233
探索性数据是一种态度，是对我们相信存在抑或不存在的事物保持灵活的审视。----EDA 之父 John TukeyExploratory data analysis is an atti...
时间序列预测某加密货币
全栈川川
09-07 1856
机器学习案例 加密货币价格预测
时间序列机器学习：用于时间序列分析的机器学习模型
01-30
机器学习的时间序列预测 一组预测时间序列的不同机器学习模型，具体来说是给定货币图表和目标的市场价格。 要求 必需的依赖项： numpy 。 其他依赖项是可选的，但是为了使最终模型更多样化，建议安装以下软件包： ...
用 Python 计算 Hurst 指数并预测市场趋势
Python中文社区
06-01 6864
建造水库是一个高风险的问题。如果计算错误，成千上万的人可能会失去他们的家园。在20世纪中期，英国水文学家埃德温-哈罗德-赫斯特在解决这类问题方面取得了重大突破。他开发了后来被称为Hurst指数的东西，这是一个衡量时间序列中自动相关的指标。虽然它是为了估计河流中的水量而开发，但正如我们所期望的那样，对于涉及时间序列的数学计算，Hurst指数在金融市场研究中得到了有趣的应用。...
python量化投资必背代码-基于python的开源量化交易，量化投资架构
weixin_37988176的博客
11-01 4066
原标题：基于python的开源量化交易，量化投资架构github地址：https://github.com/bbfamily/abuabu能够帮助用户自动完善策略，主动分析策略产生的交易行为，智能拦截策略生成的容易失败的交易单。现阶段的量化策略还是人工编写的代码，abu量化交易系统的设计将会向着由计算机自动实现整套流程的方向迈进，包括编写量化策略本身。abupy的设计目标是：用户只需要提供一些简单...
btc_img_realtime_prediction
03-10
预测可能基于对市场趋势的分析，这通常需要数据分析、机器学习或深度学习技术。 描述中的"Btc_img_realtime_prediction"同样没有提供具体的细节，但我们可以推测它可能是一个实时监测比特币价格走势，并利用图像...
机器学习-特征工程API
m0_68153457的博客
08-28 1053
实例化转换器对象，都是的子类：字典特征提取文本特征提取IDF文本特征词的重要程度特征提取归一化标准化底方差过滤降维PCA主成分分析降维转换器对象调用进行转换其中fit用于计算数据，transform进行最终转换可以使用fit()和代替data_newtransferdata可写成transferfitdatadata_newtransfertransformdata字典特征提取是指一个矩阵中大部分元素为零，只有少数元素是非零的矩阵。
基于多种机器学习的房价预测研究【数据抓取、预处理、可视化、预测】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-30 817
在当前经济发展背景下，房地产市场对于国家经济的稳定和发展起着至关重要的作用。佛山市作为中国广东省的重要城市之一，其房地产市场的波动受到了广泛关注。本研究旨在通过采用随机森林算法，对佛山市的房价进行预测和分析，以提供更为准确的市场趋势判断依据。首先，我们通过爬虫技术从链家网站收集了佛山市3000多条房产销售记录，这些数据包括房屋的多个特征，如小区名称、建成时间、成交价格、房屋户型、建筑面积等。随后，我们对数据进行了详细的预处理，包括数据清洗、缺失值处理、数据转换和特征工程等步骤，以保证数据质量和分析的准确性。
划分聚类方法实现与应用
m0_73676887的博客
08-29 821
划分聚类，通过划分的方式将数据集划分为多个不重叠的子集（簇），每一个子集作为一个聚类（类别）。在划分的过程中，首先由用户确定划分子集的个数kkk，然后随机选定kkk个点作为每一个子集的中心点，接下来通过迭代的方式：计算数据集中每个点与各个中心点之间的距离，更新中心点的位置；最终将数据集划分为kkk个子集，即将数据划分为kkk类。而评估划分的好坏标准就是：保证同一划分的样本之间的差异尽可能的小，且不同划分中的样本差异尽可能的大。
线性回归算法详解
最新发布
m0_72674633的博客
09-01 710
线性回归算法原理推导和代码详解
什么是Dropout在机器学习中？
2301_79729084的博客
08-29 319
Dropout是深度学习中一种简单而有效的正则化技术，它通过随机丢弃神经网络中的部分神经元来减少模型的复杂性、防止过拟合，并提高模型的泛化能力。在训练过程中，Dropout使得每次前向传播时神经网络的结构都有所不同，这有助于模型学习到更加鲁棒的特征表示。
焦虑相关症状与错误相关大脑活动的机器学习研究
u011661076的博客
08-28 1069
摘要 焦虑症状可能会影响大脑对错误的加工方式。然而，许多研究报告的结果相互矛盾且不可再现，因此大脑对错误的反应(即错误相关负波[ERN]；错误相关正波[Pe])与特定焦虑症状的对应关系仍不清楚。本研究收集了171名被试的16个焦虑维度自述评分，并采集了他们的EEG信号。然后，使用机器学习(1)识别与ERN/Pe增大有关的主要症状；(2)评估传统统计方法的泛化能力。本研究结果表明，ERN的振幅以及其他大脑信号变化编码了与个体错误加工相关的信息。泛化性检查结果表明，改变结果验证方法可以获得反映个体差异和临床有
黑马程序员Python机器学习|1机器学习概述
weixin_74727170的博客
08-29 486
从数据中学习，学习后得出的结论是模型（规律），通过这个规律去解决问题（做预测）。算法的改进，也要有数据的积累，有大量的数据，再用算法进行训练，数据量大要进行训练也很消耗计算机，对计算机的要求也比较高。确定在开发过程中定位到哪个方向。
【机器学习】CNN在计算机视觉中的应用
鑫宝的博客
08-26 1981
本文介绍了CNN在计算机视觉中的几个主要应用,包括图像分类、目标检测、语义分割、实例分割和视频分析等。CNN凭借其强大的特征提取能力和端到端的训练方式,在这些任务中取得了卓越的成绩,推动了计算机视觉领域的快速发展。未来,随着模型架构和训练算法的不断优化,CNN在计算机视觉领域的应用将会更加广泛和深入。
机器学习：TF-IDF算法原理及代码实现
mohanyelong的博客
08-29 1090
机器学习：TF-IDF算法原理及代码实现
python 获取实时btc数据
02-12
你可以使用第三方库，例如 "ccxt" 或 "cryptocompare"，来获取实时的比特币数据。 你可以这样做： 1. 安装所需库： ``` pip install ccxt ``` 或 ``` pip install cryptocompare ``` 2. 编写代码： ``` import ccxt exchange = ccxt.binance() symbol = 'BTC/USDT' # 获取ticker信息 ticker = exchange.fetch_ticker(symbol) print(ticker) ``` 或 ``` import cryptocompare # 获取实时BTC价格 price = cryptocompare.get_price('BTC', curr='USD') print(price) ``` 这样就可以获取到实时的比特币数据了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哥廷根数学学派

码字不易，且行且珍惜

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值