时间序列异常检测(adtk)

本文介绍了adtk库中多种时间序列异常检测方法,包括阈值检测、分位数检测、四分位数范围检测、广义ESD检测、滑动窗口分位数检测、水平移位检测、波动率转换检测、自回归检测、最小集群检测、离群点检测、季节性检测、回归检测、PCA检测。每种方法的原理、参数和应用场景进行了详细阐述。
摘要由CSDN通过智能技术生成

1. 获取时间序列数据

         未安装adtk的先安装:pip install adtk

2.阈值检测

adtk.detector.ThresholdAD(low=None, high=None)

参数:

low:下限,小于此值,视为异常

high:上限,大于此值,视为异常

原理:通过认为设定上下限来识别异常

总结:固定阈值算法

from adtk.detector import ThresholdAD
from adtk.visualization import plot
threshold_ad = ThresholdAD(high=750, low=200)
anomalies = threshold_ad.detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

  3.分位数检测

adtk.detector.QuantileAD(low=None, high=None)

参数:

low:分位下限,范围(0,1),当low=0.25时,表示Q1

high:分位上限,范围(0,1),当high=0.75时,表示Q3

原理:通过历史数据计算出给定low与high对应的分位值Q_low,Q_high,小于Q_low或大于Q_high,视为异常

总结:分位阈值算法

from adtk.detector import QuantileAD
from adtk.visualization import plot
quantile_ad = QuantileAD(high=0.98, low=0.02)
anomalies = quantile_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

 4.四分位数范围检测

adtk.detector.InterQuartileRangeAD(c=3.0)

InterQuartileRangeAD另一个广泛使用的基于简单历史统计的检测器是基于四分位距 (IQR)。当值超出定义的范围时[Q1−c×IQR, Q3+c×IQR] 在哪里 IQR=Q3−Q1是 25% 和 75% 分位数之间的差异。在只有一小部分甚至没有训练数据异常的情况下,此检测器通常优于 QuantileAD。

参数:

c:分位距的系数,用来确定上下限,可为float,也可为(float,float)

原理: 当c为float时,通过历史数据计算出 Q3+cIQR 作为上限值,大于上限值视为异常 当c=(float1,float2)时,通过历史数据计算出 (Q1-c1IQR, Q3+c2*IQR) 作为正常范围,不在正常范围视为异常

总结:箱线图算法

from adtk.detector import InterQuartileRangeAD
from adtk.visualization import plot
iqr_ad = InterQuartileRangeAD(c=2)
anomalies = iqr_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

5.广义ESD检测

adtk.detector.GeneralizedESDTestAD(alpha=0.05)

请注意,广义 ESD 测试的一个关键假设是正态值服从近似正态分布。请仅在此假设成立时使用此检测器。

参数:

alpha:显著性水平 (Significance level),alpha越小,表示识别出的异常约有把握是真异常 原理:将样本点的值与样本的均值作差后除以样本标准差,取最大值,通过t分布计算阈值,对比阈值确定异常点 计算步骤简述:

设置显著水平alpha,通常取0.05 指定离群比例h,若h=5%,则表示50各样本中存在离群点数为2 计算数据集的均值mu与标准差sigma,将所有样本与均值作差,取绝对值,再除以标准差,找出最大值,得到esd_1 在剩下的样本点中,重复步骤3,可以得到h个esd值 为每个esd值计算critical value: lambda_i (采用t分布计算) 统计每个esd是否大于lambda_i,大于的认为你是异常

先检测数据是否服从正态分布

from scipy.stats import kstest
# 正态分布检验
def KsNormDetect(df):
    u = df['y'].mean()                     # 计算均值
    std = df['y'].std()                    # 计算标准差
    res=kstest(df, 'norm', (u, std))[1]    # 计算P值
    if res<=0.05:           # 判断p值是否服从正态分布,p<=0.05 则服从正态分布,否则不服从。
        print('该列数据服从正态分布------------')
        print('均值为:%.3f,标准差为:%.3f' % (u, std))
        return 1
    else:
        return 0

该列数据服从正态分布------------
均值为:537.113,标准差为:94.769

from adtk.detector import GeneralizedESDTestAD
from adtk.visualization import plot
esd_ad = GeneralizedESDTestAD(alpha=0.01)
anomalies = esd_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

 6. 滑动窗口分位数检测

adtk.detector.PersistAD(window=1, c=3.0, side=‘both’, min_periods=None, agg=‘median’)

PersistAD将每个时间序列值与其先前的值进行比较。在内部,它被实现为带有转换器DoubleRollingAggregate的管道网络。

参数:

window:参考窗长度,可为int, str
c:分位距倍数,用于确定上下限范围
side:检测范围,为’positive’时检测突增,为’negative’时检测突降,为’both’时突增突降都检测
min_periods:参考窗中最小个数,小于此个数将会报异常,默认为None,表示每个时间点都得有值
agg:参考窗中的统计量计算方式,因为当前值是与参考窗中产生的统计量作比较,所以得将参考窗中的数据计算成统计量,默认’median’,表示去参考窗的中位值
原理:

用滑动窗口遍历历史数据,将窗口后的一位数据与参考窗中的统计量做差,得到一个新的时间序列s1;
计算s1的(Q1-cIQR, Q3+cIQR) 作为正常范围;
若当前值与它参考窗中的统计量之差,不在2中的正常范围内,视为异常。
调参:

window:越大,模型越不敏感,不容易被突刺干扰
c:越大,对于波动大的数据,正常范围放大较大,对于波动较小的数据,正常范围放大较小
min_periods:对缺失值的容忍程度,越大,越不允许有太多的缺失值
agg:统计量的聚合方式,跟统计量的特性有关,如 'median’不容易受极端值影响
总结:先计算一条新的时间序列,再用箱线图作异常检测

from adtk.detector import PersistAD
from adtk.visualization import plot
#捕捉短期异常
persist_ad = PersistAD(c=3, side='both',window=2,)
anomalies = persist_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

 7.水平移位检测

adtk.detector.LevelShiftAD(window, c=6.0, side=‘both’, min_periods=None)

LevelShiftAD通过跟踪彼此相邻的两个滑动时间窗

  • 3
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Python中,时间序列突变是指序列中出现的突然的、显著的变化。根据引用中的代码示例,可以看出构建的测试序列是一个时间序列,并且其中包含了一些突变。具体来说,该序列的数据通过乘法、加法和随机噪声生成,并且在每个季节中有不同的因子(1.05、1.1、0.95、0.9)引起的突变。 因此,我们可以使用Python中的时间序列分析库(如pandas、numpy)和可视化库(如matplotlib)来检测和分析时间序列中的突变。在这个例子中,可以使用pandas的DataFrame来处理时间序列数据,并使用matplotlib来绘制时间序列图。 要检测时间序列中的突变,可以通过比较数据的前后差异来识别突变点。这可以使用差分操作来实现。差分操作可以计算出相邻数据点之间的差异,并将其用作检测突变的指标。 以下是一个示例代码,演示如何使用Python进行时间序列突变检测: ```python import pandas as pd import matplotlib.pyplot as plt # 构建测试序列 series = pd.Series((pow(np.arange(1, 40, 1), 2) * (-0.1)) + (np.arange(1, 40, 1) * 10) + 10 + np.random.normal(0, 0.01, 40) * np.tile([1.05, 1.1, 0.95, 0.9], 10), index=pd.date_range(start='2012-03-31', freq='Q-DEC', periods=40)) # 计算差分 diff = series.diff() # 绘制时间序列和差分图 fig, axs = plt.subplots(2) series.plot(ax=axs<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [使用Python库valuequant处理时间序列结构变化的建模方法3](https://blog.csdn.net/Dr_Kevin_Ye/article/details/122578433)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Python 时间序列异常检测 ADTK](https://blog.csdn.net/BF02jgtRS00XKtCx/article/details/115343456)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值