时间序列异常检测（adtk）

1. 获取时间序列数据

         未安装adtk的先安装：pip install adtk

2.阈值检测

adtk.detector.ThresholdAD(low=None, high=None)

参数：

low：下限，小于此值，视为异常

high：上限，大于此值，视为异常

原理：通过认为设定上下限来识别异常

总结：固定阈值算法

from adtk.detector import ThresholdAD
from adtk.visualization import plot
threshold_ad = ThresholdAD(high=750, low=200)
anomalies = threshold_ad.detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

  3.分位数检测

adtk.detector.QuantileAD(low=None, high=None)

参数：

low：分位下限，范围(0,1)，当low=0.25时，表示Q1

high：分位上限，范围(0,1)，当high=0.75时，表示Q3

原理：通过历史数据计算出给定low与high对应的分位值Q_low,Q_high，小于Q_low或大于Q_high，视为异常

总结：分位阈值算法

from adtk.detector import QuantileAD
from adtk.visualization import plot
quantile_ad = QuantileAD(high=0.98, low=0.02)
anomalies = quantile_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

 4.四分位数范围检测

adtk.detector.InterQuartileRangeAD(c=3.0)

InterQuartileRangeAD另一个广泛使用的基于简单历史统计的检测器是基于四分位距 (IQR)。当值超出定义的范围时[Q1−c×IQR, Q3+c×IQR] 在哪里 IQR=Q3−Q1是 25% 和 75% 分位数之间的差异。在只有一小部分甚至没有训练数据异常的情况下，此检测器通常优于 QuantileAD。

参数：

c：分位距的系数，用来确定上下限，可为float，也可为(float,float)

原理： 当c为float时，通过历史数据计算出 Q3+cIQR 作为上限值，大于上限值视为异常 当c=(float1,float2)时，通过历史数据计算出 (Q1-c1IQR, Q3+c2*IQR) 作为正常范围，不在正常范围视为异常

总结：箱线图算法

from adtk.detector import InterQuartileRangeAD
from adtk.visualization import plot
iqr_ad = InterQuartileRangeAD(c=2)
anomalies = iqr_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

5.广义ESD检测

adtk.detector.GeneralizedESDTestAD(alpha=0.05)

请注意，广义 ESD 测试的一个关键假设是正态值服从近似正态分布。请仅在此假设成立时使用此检测器。

参数：

alpha：显著性水平 (Significance level)，alpha越小，表示识别出的异常约有把握是真异常 原理:将样本点的值与样本的均值作差后除以样本标准差，取最大值，通过t分布计算阈值，对比阈值确定异常点 计算步骤简述：

设置显著水平alpha，通常取0.05 指定离群比例h，若h=5%，则表示50各样本中存在离群点数为2 计算数据集的均值mu与标准差sigma，将所有样本与均值作差，取绝对值，再除以标准差，找出最大值，得到esd_1 在剩下的样本点中，重复步骤3，可以得到h个esd值 为每个esd值计算critical value: lambda_i (采用t分布计算) 统计每个esd是否大于lambda_i，大于的认为你是异常

先检测数据是否服从正态分布

from scipy.stats import kstest
# 正态分布检验
def KsNormDetect(df):
    u = df['y'].mean()                     # 计算均值
    std = df['y'].std()                    # 计算标准差
    res=kstest(df, 'norm', (u, std))[1]    # 计算P值
    if res<=0.05:           # 判断p值是否服从正态分布，p<=0.05 则服从正态分布，否则不服从。
        print('该列数据服从正态分布------------')
        print('均值为：%.3f，标准差为：%.3f' % (u, std))
        return 1
    else:
        return 0

该列数据服从正态分布------------
均值为：537.113，标准差为：94.769

from adtk.detector import GeneralizedESDTestAD
from adtk.visualization import plot
esd_ad = GeneralizedESDTestAD(alpha=0.01)
anomalies = esd_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

 6. 滑动窗口分位数检测

adtk.detector.PersistAD(window=1, c=3.0, side=‘both’, min_periods=None, agg=‘median’)

PersistAD将每个时间序列值与其先前的值进行比较。在内部，它被实现为带有转换器DoubleRollingAggregate的管道网络。

参数：

window：参考窗长度，可为int, str
c：分位距倍数，用于确定上下限范围
side：检测范围，为’positive’时检测突增，为’negative’时检测突降，为’both’时突增突降都检测
min_periods：参考窗中最小个数，小于此个数将会报异常，默认为None，表示每个时间点都得有值
agg：参考窗中的统计量计算方式，因为当前值是与参考窗中产生的统计量作比较，所以得将参考窗中的数据计算成统计量，默认’median’，表示去参考窗的中位值
原理：

用滑动窗口遍历历史数据，将窗口后的一位数据与参考窗中的统计量做差，得到一个新的时间序列s1;
计算s1的(Q1-cIQR, Q3+cIQR) 作为正常范围；
若当前值与它参考窗中的统计量之差，不在2中的正常范围内，视为异常。
调参：

window：越大，模型越不敏感，不容易被突刺干扰
c：越大，对于波动大的数据，正常范围放大较大，对于波动较小的数据，正常范围放大较小
min_periods：对缺失值的容忍程度，越大，越不允许有太多的缺失值
agg：统计量的聚合方式，跟统计量的特性有关，如 'median’不容易受极端值影响
总结：先计算一条新的时间序列，再用箱线图作异常检测

from adtk.detector import PersistAD
from adtk.visualization import plot
#捕捉短期异常
persist_ad = PersistAD(c=3, side='both',window=2,)
anomalies = persist_ad.fit_detect(df)
plot(df, anomaly=anomalies, ts_linewidth=1, ts_markersize=3, anomaly_markersize=5, anomaly_color='red', anomaly_tag="marker");

 7.水平移位检测

adtk.detector.LevelShiftAD(window, c=6.0, side=‘both’, min_periods=None)

LevelShiftAD通过跟踪彼此相邻的两个滑动时间窗