6种时序异常检测思路总结！

最新推荐文章于 2023-04-17 16:07:54 发布
最新推荐文章于 2023-04-17 16:07:54 发布
阅读量3.7k 收藏 30
点赞数 5

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

内容：异常检测，来源：Coggle数据科学

时序异常检测并不困难，如果你找对方法则可以在今年KDD比赛中获取比较好的成绩。本文将使用tsod库完成简单的异常检测。

tsod介绍

tsod可以完成时序数据的异常检测，是一个比较新的库，但使用起来非常方便。

https://github.com/DHI/tsod

https://github.com/DHI/tsod/blob/main/notebooks/Getting%20started.ipynb

区间异常检测

如果我们能提前确定好指标的范围，则可以依次进行判定异常。

# 最小值与最大值
rd = tsod.RangeDetector(min_value=0.01, max_value=2.0)

res = rd.detect(series)
series[res]

将识别结果进行展示：

常数波动检测

cd = tsod.ConstantValueDetector()

res = cd.detect(series)
series[res]

将识别结果进行展示：

范围+常数组合检测

combined = tsod.CombinedDetector([tsod.RangeDetector(max_value=2.0),
                                     tsod.ConstantValueDetector()])

res = combined.detect(series)
series[res]

将识别结果进行展示：

梯度固定检测

cgd = tsod.ConstantGradientDetector()
res = cgd.detect(series)

将识别结果进行展示：

滚动聚合加方差检测

rsd = tsod.RollingStandardDeviationDetector(window_size=10, center=True)

rsd.fit(normal_data)

将识别结果进行展示：

一阶差分检测

drd = tsod.DiffDetector()
drd.fit(normal_data)

将识别结果进行展示：

交流群

 KDD 顶会赛事交流群

  • 特邀分享：郑冠杰，上海交通大学助理教授，美国宾州州立大学博士

  • 内容：KDD Cup 赛题3背景知识及解析

  • 时间：本周六晚 20:00 - 20:30

  • 公众号后台回复 “kdd” 可邀请进群

整理不易，点赞三连↓

Datawhale
关注
  • 5
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【多元时序异常检测】InterFusion
weixin_41403341的博客
07-01 1172
在工业界，一个异常事件通常会持续一段时间，对于一个包含多个指标的实体，由于指标间的相关性，不同的指标通常会在该异常时间段的不同时间点先后显示出异常形态（比如在同一个异常段中，与网络相关的监控指标在第t时刻被丢弃，与CPU相关的监控指标在第t + t0时刻被丢弃，原因是来自网络的请求数量减少。因此在进行异常解释时。这里为什么要对测试点样本进行修正，可能有些不好理解，我自己个人理解如下：本质上，interFusion是基于正常样本进行训练的模型，学习到的是样本的正常分布形态，模型训练完成，参数已经固定了。
震惊！(竟有这么好的)时序数据异常检测算法简述与分类
一个孤寡90后it学生仔的博客
03-08 1万+
摘要：异常检测是目前时序数据分析最成熟的应用之一，有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。本文主要对目前主流的异常检测算法进行汇总并将其分为基于统计的异常检测、基于预测的异常检测等类别，介绍各自的优缺点并寻找适合时序数据的异常检测算法。
时序异常检测汇总
Mark_Australia的博客
08-09 6726
时序异常检测
9大时序异常检测方法汇总
Python学习与数据挖掘
05-06 7344
异常检测（Anomaly detection）是目前时序数据分析最成熟的应用之一，定义是从正常的时间序列中识别不正常的事件或行为的过程。 有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。以在轨航天器为例，由于航天器昂贵且系统复杂，未能检测到危险可能会导致严重甚至无法弥补的损害。异常随时可能发展为严重故障，因此准确及时的异常检测可以提醒航天工程师尽早采取措施。 一般而言，很多异常可以通过人工的方式来判断。然而当业务组合复杂、时序规模变大后，依靠传统
时间序列分析|异常值检测
帅帅de三叔
07-20 5551
时间序列异常值检测
时间序列异常点检测
热门推荐
akenseren的博客
11-05 1万+
原文链接：Time Series Anomaly Detection Algorithms 时间序列异常检测--简单的语言介绍当前时间序列异常检测方法 在Statsbot，我们不断地回顾异常检测方法，并在此基础上改进我们的模型。 本文概述了目前最流行的时间序列异常检测算法及其优缺点。 这篇文章是写给没有经验的读者的，他们只是想了解一下异常检测技术的当前状态。不想用数学模型吓到你，我们把所有...
2018年国际AIOps挑战赛KPI时序异常检测比赛基于OpenMLDB部署的工程化部署实践方案.zip
最新发布
09-30
总结，2018年国际AIOps挑战赛中的KPI时序异常检测项目展示了OpenMLDB在工程化实践中的强大潜力。通过结合数据库管理和机器学习的能力，OpenMLDB为实时、高效的异常检测提供了有效解决方案，为未来的智能运维和故障...
KPCA用于故障检测
05-04
KPCA算法为一种核学习算法，可用于具有非线性特性的故障检测中。其主要思路为：首先通过一个未知的非线性映射讲原始低维空间中的非线性数据映射到特征空间变成线性可分的高维数据，然后利用PCA方法在高维特征空间...
使用无监督深度神经网络的多维时序数据实时异常检测方法与流程.docx
11-17
本发明提出了一种使用无监督深度神经网络进行多维时序数据实时异常检测的方法。在当前大数据时代，时序数据的分析变得越来越重要，特别是对于多维时序数据的异常检测，它能够及时发现并预防潜在的问题，减少生产和...
基于高斯混合聚类的电力工控系统异常检测研究.docx
06-17
针对电力工控系统通信数据的周期性和阶段特性，本文提出了一种基于多元高斯聚类的异常时序检测方法。这种方法首先将周期长度不固定的时间序列转化为固定大小的状态转移概率矩阵，然后使用这些矩阵作为特征进行异常...
基于MapReduce的时序数据离群点挖掘算法.pdf
10-15
这种方法不仅可以应用于动车组数据中的闸片异常检测，还可以推广到其他领域，如物联网传感器数据、金融交易数据、网络流量数据等，帮助发现异常行为，提升数据分析的效率和准确性。 总结来说，这篇研究通过将...
深度盘点：时序预测之异常检测算法综述
Python学习与数据挖掘
05-20 5452
本文将介绍在时间序列预测相关问题中常见的异常检测算法，可以很大程度上帮助改善最终预测效果。喜欢记得收藏、关注、点赞。 注：完整版代码、数据、技术交流，文末获取 异常分类 时间序列的异常检测问题通常表示为相对于某些标准信号或常见信号的离群点。虽然有很多的异常类型，但是我们只关注业务角度中最重要的类型，比如意外的峰值、下降、趋势变化以及等级转换（level shifts）。 常见的异常有如下几种： 革新性异常：innovational outlier (IO)，造成离群点干扰不仅作用于X(T)，而且影响T时
时间序列异常点检测算法（Smoothed z-score algorithm）
艰难困苦，玉汝于成。
03-02 1447
时间序列异常点处理！
时序异常检测综述整理！
小白学视觉
03-11 694
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达Datawhale干货作者：AI宅码，整理：尤而小屋最近阅读了几篇综述，个人比较推荐以下5篇：赵越博士的异常检测库Python Outlier Detection (PyOD) [1]写的很好，还提供了关于异常检测的学习资料[2]2020 | Anomaly detection in univariate time-seri...
KDD 2021冠军方案 | 揭秘 TsaDetect 时序异常检测机制
shenlanshenyanai的博客
10-21 577
8月14日至18日，国际数据挖掘与知识发现大会 KDD 2021在线上正式举行。深兰科技再次表现亮眼，在Multi-dataset Time Series Anomaly Detection竞赛中获得冠军。 值得一提的是，同台竞技的队伍分别来自华为诺亚方舟实验室、阿里达摩院、海康威视、日立、三菱电机、日本产业技术综合研究所和柏林洪堡大学等知名公司和高校，比赛过程非常激烈，吸引了超过500支队伍积极参与，并接收了将近2000次有效结果提交，可谓精英云集。 ACM SIGKDD（国际数据挖掘与知识发现大会，
深度学习时序异常检测综述
weixin_42670634的博客
04-17 3436
异常检测，又称异常值检测或新奇检测，几十年来一直是各个研究团体持久而活跃的研究领域。仍有一些独特的问题、复杂性和挑战需要先进的方法。近年来，深度学习使异常检测，即深度异常检测，已成为一个重要的方向。本文对深度异常检测方法的研究进行了全面的分类，包括3个高级别分类和11个细级别分类的研究进展。我们回顾了它们的主要、优点和缺点，并讨论了它们如何应对上述挑战。我们进一步讨论了一系列未来可能的机遇和应对挑战的新视角。
时序异常检测方法总结
Mark_Australia的博客
09-17 5901
时序异常检测
TODS：一款功能强大的多元时间序列异常检测工具
m0_59596937的博客
02-08 1574
数据处理时间序列处理特征分析检测算法（detection algorithms）和强化模块这些模块所提供的功能包括常见的数据预处理、时间序列数据的平滑或变换，从时域或频域中抽取特征、多种多样的检测算法以及让人类专家来校准系统。通过这些模块提供的功能包括：通用数据预处理、时间序列数据平滑/转换、从时域/频域中提取特征、各种检测算法，以及涉及人类专业知识来校准系统。可以时间序列数据执行三种常见的异常值检测场景：逐点检测（时间点作为异常值）、模式检测（子序列作为异常值）和系统检测（时间序列集作为异常值）。
功能异常强大，推荐这款 Python 时序异常检测神器
Python学习与数据挖掘
09-25 2797
TODS [3] 是一个全栈机器学习系统，用于对多元时间序列数据进行异常值检测。数据处理、时间序列处理、特征分析、检测算法和强化模块。通过这些模块提供的功能包括：通用数据预处理、时间序列数据平滑/转换、从时域/频域中提取特征、各种检测算法，以及涉及人类专业知识来校准系统。逐点检测（时间点作为异常值）、模式检测（子序列作为异常值）和系统检测（时间序列集作为异常值）。当时间序列中存在潜在的系统故障或小故障时，通常会出现逐点异常值。
写一个Python程序，判断时序数据是否发生频率变化异常，返回异常种类和异常所属时间点
08-12
### 回答1： 首先，需要使用pandas库读入时序数据。之后，可以使用scipy库中的seasonal_decompose函数对时序数据进行分解，得到趋势、季节性和残差等三部分。对残差部分进行统计分析，如均值、标准差、峰度等，并与预定的阈值进行比较。如果发现异常，则可以使用pyculiarity库中的detect_ts函数进行时间序列异常检测，得到异常种类和异常所属时间点。 ``` import pandas as pd from scipy.stats import variation from scipy.stats import skew from scipy.stats import kurtosis from statsmodels.tsa.seasonal import seasonal_decompose from pyculiarity import detect_ts #读入时序数据 data = pd.read_csv("data.csv") #时序数据分解 result = seasonal_decompose(data, model='multiplicative') residual = result.resid #统计分析残差部分 mean = residual.mean() std = residual.std() var = variation(residual) skewness = skew(residual) kurt = kurtosis(residual) #阈值设置 mean_threshold = 0.1 std_threshold = 0.1 var_threshold = 0.1 skewness_threshold = 0.1 kurt_threshold = 0.1 #判断是否存在异常 if abs(mean) > mean_threshold or abs(std) > std_threshold or abs(var) > var_threshold or abs(skewness) > skewness_threshold or abs(kurt) > kurt_threshold: #时间序列异常检测 result = detect_ts(residual) print("异常种类: ",result['anomaly_type']) print("异常所属时间点: ",result['anomaly_points']) else: print("无异常") ``` ### 回答2： 为了判断时序数据是否发生频率变化异常，可以编写一个Python程序。主要的思路是计算时间序列数据中每个时间点的间隔，并将这些间隔与一个预设的阈值进行比较，如果某个间隔大于阈值，则可以判定该时间点存在异常。 以下是示例代码： ```python import numpy as np def detect_frequency_anomaly(time_series, threshold): # 初始化异常类别和时间点列表 anomaly_types = [] anomaly_time_points = [] # 计算时间序列数据的间隔 intervals = np.diff(time_series) # 判断每个间隔是否超过阈值 for i in range(len(intervals)): if intervals[i] > threshold: # 添加异常类别和相应时间点 anomaly_types.append("频率变化异常") anomaly_time_points.append(i+1) # 注意这里加1是因为索引从0开始 # 返回异常类别和异常时间点 return anomaly_types, anomaly_time_points ``` 在这个示例代码中，`time_series`是输入的时间序列数据，`threshold`是预设的阈值。函数将返回两个列表，`anomaly_types`存储异常类别，`anomaly_time_points`存储异常所属时间点。 你可以根据实际情况使用这个函数来判断时序数据中是否存在频率变化异常。 ### 回答3： 要编写一个Python程序来判断时序数据是否发生频率变化异常，并返回异常种类和异常所属时间点，可以按照以下步骤进行： 1. 首先，将时序数据加载到程序中。可以使用Python的pandas库来读取时序数据文件，例如使用`pd.read_csv()`函数。 2. 接下来，计算每个时间点之间的时间间隔。可以使用pandas的`diff()`函数，将时间序列数据转换为时间间隔序列。 3. 接着，计算时间间隔的均值和标准差。可以使用pandas的`mean()`和`std()`函数。 4. 计算时间间隔序列中每个时间间隔的偏差。偏差可以通过将每个时间间隔减去均值，并除以标准差来计算。 5. 根据计算得到的偏差序列，定义一个阈值，用于判断是否发生异常。如果某个时间点的偏差超过阈值，则判断为频率变化异常。 6. 最后，将异常种类和异常所属时间点返回。可以将异常种类定义为超过阈值的上界或下界，异常所属时间点即为该时间点对应的原始时序数据的时间点。 下面是一个简单的示例代码： ```python import pandas as pd def detect_frequency_anomaly(time_series_data, threshold): # 计算时间间隔序列 time_intervals = time_series_data.diff() # 计算时间间隔的均值和标准差 mean_interval = time_intervals.mean() std_interval = time_intervals.std() # 计算时间间隔的偏差 deviations = (time_intervals - mean_interval) / std_interval # 判断是否发生异常 anomalies = deviations.abs() > threshold # 提取异常种类和异常所属时间点 anomaly_indexes = anomalies[anomalies].index anomaly_types = anomalies[anomalies].apply(lambda x: '上界' if x else '下界') return zip(anomaly_types, anomaly_indexes) # 读取时序数据文件 time_series_data = pd.read_csv('data.csv') # 设定阈值 threshold = 2.0 # 判断频率变化异常，并返回结果 results = detect_frequency_anomaly(time_series_data, threshold) # 输出异常种类和异常所属时间点 for anomaly_type, anomaly_index in results: print(f'异常种类：{anomaly_type}，异常所属时间点：{anomaly_index}') ``` 请注意，这只是一个简单的示例代码，并且假设时序数据已经被加载到名为`data.csv`的文件中。在实际应用中，你可能需要根据具体的数据类型和分析需求来进行相应的修改和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值