异常检测&动态阈值

原创 已于 2022-10-10 17:47:20 修改 · 8.3k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

于 2022-10-10 17:45:09 首次发布
本文介绍了异常检测的常规方法，如绝对中位差、箱形图和极值理论，并探讨了周期时序预测中的自回归系列和Prophet模型。自回归模型包括ARIMA的建模步骤，而Prophet模型适用于处理周期效应和节假日影响，但两者都有其局限性，如适用范围、长期预测效果和变点问题。

一.常规方法：

分析历史数据或窗口数据的均值、中位数、众数分布，选择算法。

 

算法流程：

  • 绝对中位差

绝对中位差，即Median Absolute Deviation(MAD)，是对单变量数值型数据的样本偏差的一种鲁棒性测量。在先验为正态分布的情况下，一般C选择1.4826，k选择3。

应用：根据历史数据(例如近一个月)的绝对中位差，计算上下限值。使用上下限值作为当前的上下阈值。

  • 箱形图

箱形图主要通过几个统计量来描述样本分布的离散程度以及对称性，包括：

  • Q0：最小值（Minimum）
  • Q1：下四分位数（Lower Quartile）
  • Q2：中位数（Median）
  • Q3：上四分位数（Upper Quartile）
  • Q4：最大值（Maximum）

将Q1与Q3之间的间距称为IQR，当样本偏离上四分位1.5倍的IQR（或是偏离下四分位数1.5倍的IQR）的情况下，将样本视为是一个离群点。


应用：根据历史数据(例如近一个月)计算IQR，1.5倍的IQR上下限值。使用上下限值作为当前的上下阈值。

  • 极
最低0.47元/天 解锁文章
GEE：哨兵时间序列遥感数据和动态阈值方法计算物候时期EOS/SOS（2）
养乐多的博客
09-24 2510
本文将分享和解释论文《Improved Estimates of Arctic Land Surface Phenology Using Sentinel-2 Time Series》中使用到的基于阈值估算北极地区的植被物候，特别是北极地区的植被季节开始和结束的日期（SoS和EoS）的方法和代码。该方法使用的是使用哨兵2数据，并实现了两种阈值方法（ 无平滑的阈值方法、平滑后的阈值方法）。
自动阈值检测_自动化时序异常检测的可扩展通用框架
weixin_34345695的博客
01-13 1506
编译自Generic and Scalable Framework for Automated Time-series Anomaly Detection作者：Nikolay Laptev, Saeed Amizadeh, Ian Flint背景虽然计算软硬件的快速发展已经极大地提高了应用的性能，但大型集群中依然存在各类软硬件问题，影响了用户体验和收益。系统需要不间断运行，对系统的监控也必须持续进...
无监督异常检测中的阈值确定
qq_60609496的博客
10-23 4163
实际部署中, 需要设置阈值判断待测样本是否属于异常类，无监督方法对缺陷发生概率的表达往往基于异常分数。（1）将归一化的注意力图作为异常分数图，用于像素级的缺陷分割，该方法对阈值设置不敏感（2）PaDiM利用多元高斯分布进行特征建模，使用马氏距离度量异常分数，需要通过相关公式理论推导得出保证假阳性率在预期范围内的分界阈值。但是：这些解决方法不具有普适性，仍然需要借助异常样本来确定最佳阈值，因此借鉴4种使用验证集来设置阈值的方法，且验证集中只包含正常样本。1.最大缺陷分数法：（没有误检，大量漏检）
D4-时间序列预测中的异常值检测方法（4大类8种）
ai12345678900008的博客
09-23 764
时间序列异常检测方法可分为四大类：统计方法（Z-Score、IQR）、序列模型残差法（ARIMA、LSTM）、机器学习方法（孤立森林、单类SVM）和邻域聚类法（KNN）。统计方法适合平稳序列，计算简单但未考虑时间依赖性；模型残差法利用时序规律，ARIMA适用于线性序列，LSTM处理非线性复杂序列；机器学习方法通过特征工程检测异常，孤立森林高效适用于大数据，单类SVM适合小样本；邻域方法基于距离/密度识别异常点。各类方法各有优缺点，需根据数据特性和场景需求选择。
指标异动分析
beyond94的博客
04-04 5972
What 业务都会面对“为什么涨、为什么降、原因是什么？”，因此日常数据分析80%总是在围绕指标异动做分析，进行原因定位，常见的指标异动分析例如GMV、DAU等为何下降？ Why 指标异动分析有利于为业务方建立业务抓手，及时定位业务异常原因，进而制定相应的运营调整策略，保障业务正常稳定发展 How 1、明确异常指标波动标准（净值 百分比） 业务指标会随着内外部环境变动而不断变化，数据的波动主要体现在变动日期与基准日期的对比（同环比）出现上升或下降。指标波动通常分为周期性波动、突发性波动、持续性波动。 **
异常检测的阈值，你怎么选？给你整理好了...
机器学习算法与Python学习
09-19 1万+
异常值是指距离其他观测值非常遥远的点，但是我们应该如何度量这个距离的长度呢?同时异常值也可以被视为出现概率非常小的观测值，但是这也面临同样的问题——我们要如何度量这个概率...
监控系统异常检测实战：基于时间序列预测的动态阈值设定
燃灯工作室
03-10 1815
提出TST模型(Time Series Transformer)，在长期依赖建模上比LSTM提升23%的预测准确率。某量化交易平台需要实时监控订单处理延迟（P99指标），要求5分钟内检测出异常波动。使用GAN生成对抗样本，增强模型对极端值的鲁棒性。为置信系数（95%置信度对应1.96）存在单位根（非平稳）
基于动态阈值的异常检测内含数据集.zip
04-12
"基于动态阈值的异常检测"是一种广泛应用的方法，它旨在识别那些在特定上下文中不寻常的观测值。在这个主题中，我们将深入探讨动态阈值的概念、实现方法以及其在异常检测中的应用。 动态阈值异常检测的核心在于它...
指标检测(四)：业务阈值检测-基于规则引擎的业务异常检测
maoyuanming0806的博客
12-02 1279
重点介绍项目中的趋势异常检测算法。本文主要介绍基于业务阈值设定的异常检测，作为自动化异常检测的业务补充监控方案。是的整套检测框架全面覆盖各种应用场景。基于业务规则阈值判断的异常检测，是对无监督自动化异常检测的一种人工补充。此方案依赖于专家规则的配置，建议搭配无监督自动化异常检测方案使用。
基于低覆盖度大规模并行测序技术的无创产前胎儿常染色体微缺失微重复及非整倍体检测与动态阈值估算集成软件包_无创产前检测NIPT胎儿染色体异常常染色体微缺失微重复非整倍体动态阈值生物信.zip
最新发布
10-07
本文深入探讨了基于低覆盖度大规模并行测序技术的无创产前检测技术，这是一种用于胎儿染色体异常检测的先进方法。该技术主要涉及到对常染色体微缺失、微重复及非整倍体等遗传异常的分析。在产前检测领域，这种方法因...
网络异常点检测中性能指标阈值的动态确定方法 (2011年)
05-10
采用基于统计假设检验的网络异常点检测方法,提出一种综合运用季节累积自回归滑动平均模型时间序列预测和置信区间计算来动态获取性能指标阈值的方法。利用累积自回归滑动平均模型在训练集上的拟合残差白噪声符合正态...
异常值检测
qq_42012732的博客
07-16 2397
目录1 概论1.1 异常检测的定义1.2 异常检测的应用场景1.3 异常值的特点1.4 异常检测算法分类2 Isolation Forest算法2.1 Isolation Forest 算法原理2.2 Isolation Forest 算法特点3 局部异常因子LOF算法3.1 LOF算法原理3.2 LOF算法特点4 One-Class SVM算法4.1 One-Class SVM算法原理4.2 One-Class SVM 算法特点：5 基于高斯概率密度算法5.1 基于高斯概率密度算法原理5.3 基于高斯概率
异常值检测大揭秘：多种方法应对数据异常(附代码)
weixin_46287760的博客
05-24 1万+
本文将介绍异常值的概念及其影响、异常值检测与处理的重要性，以及针对异常值检测与处理的实验原理和实现。希望通过本文的介绍，读者能够更好地了解异常值检测与处理的意义，掌握相关方法的使用和操作，提高数据分析的准确性和可靠性。
动态门限-自定义阈值
张良
01-07 853
\documentclass[11pt]{article} \usepackage{CJK} \usepackage[top=2cm, bottom=2cm, left=2cm, right=2cm]{geometry} \usepackage{algorithm} \usepackage{algorithmicx} \usepackage{algpseudocode} \usepackage{amsmath} \usepackage{indentfirst} \floatname{algorithm}{
异常检测算法综述
ping_xu1990的博客
08-06 4803
对现阶段业内常用的异常检测算法进行了较详细的综述。主要介绍四类方法：统计方法、指标预测法、无监督方法及有监督方法。
15、异常检测
qq_43632490的博客
02-18 256
""" 这部分，您将实现一个异常检测算法来检测服务器计算机中的异常行为。 他的特征是测量每个服务器的响应速度(mb/s)和延迟(ms)。 当你的服务器运行时，你收集到了m=307的样本，是无标签的。 你相信其中绝大多数样本是正常的，但还是有一小部分的样本是异常的。 我们将使用高斯分布模型来检测数据集中的异常样本。 """ import pandas as pd import numpy as np from scipy.io import loadmat import matplotlib.pyplot
n维正态分布概率密度_异常检测的N种方法，阿里工程师都盘出来了
weixin_34501374的博客
12-29 762
阿里妹导读：互联网黑产盛行，其作弊手段层出不穷，导致广告效果降低，APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。作者 | 黎伟斌、胡熠、王皓背景异常点检测(Outlier detection)，又称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程...
动态阈值法学习笔记
我不喜欢吃氧化亚铁的博客
04-15 4303
动态阈值法学习笔记 大津法 大津法来由： ​ 最大类间方差法是由日本学者大津于1979年提出的,是一种自适应的阈值确定的方法,又叫大津法,简称OTSU。它是按图像的灰度特性,将图像分成背景和目标2部分。 原理： ​ 使图像的类间方差最大,类间方差g为 g=w0∗w1∗(μ1−μ0)2 g=w_0*w1*(μ_1-μ_0)^2 g=w0​∗w1∗(μ1​−μ0​)2 ​ 其是设定一个阈值T,分割图像...
Python数据分析基础: 异常值检测和处理
热门推荐
Python数据科学
10-31 2万+
作者：东哥起飞 公众号：Python数据科学 上一篇分享了关于数据缺失值处理的一些方法，链接如下： 【Python数据分析基础】: 数据缺失值处理 本篇继续分享数据清洗中的另一个常见问题：异常值检测和处理。 1 什么是异常值？ 在机器学习中，异常检测和处理是一个比较小的分支，或者说，是机器学习的一个副产物，因为在一般的预测问题中，模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点，通常异常点在预.
lstm异常值检测，动态调整阈值
07-05
为了提高异常检测系统的适应性和鲁棒性，可以采用动态阈值策略替代固定阈值。以下是一些常见的动态阈值调整方法： #### 1. 移动平均 + 标准差法（Moving Average ± σ） 基于最近一段时间内的误差均值和标准差...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值