异常检测&动态阈值

已于 2022-10-10 17:47:20 修改
阅读量7.2k 收藏 38
点赞数 5
分类专栏： 机器学习 文章标签： 机器学习 人工智能
于 2022-10-10 17:45:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011613991/article/details/127249263
版权
本文介绍了异常检测的常规方法，如绝对中位差、箱形图和极值理论，并探讨了周期时序预测中的自回归系列和Prophet模型。自回归模型包括ARIMA的建模步骤，而Prophet模型适用于处理周期效应和节假日影响，但两者都有其局限性，如适用范围、长期预测效果和变点问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.常规方法：

分析历史数据或窗口数据的均值、中位数、众数分布，选择算法。

 

算法流程：

  • 绝对中位差

绝对中位差，即Median Absolute Deviation(MAD)，是对单变量数值型数据的样本偏差的一种鲁棒性测量。在先验为正态分布的情况下，一般C选择1.4826，k选择3。

应用：根据历史数据(例如近一个月)的绝对中位差，计算上下限值。使用上下限值作为当前的上下阈值。

  • 箱形图

箱形图主要通过几个统计量来描述样本分布的离散程度以及对称性，包括：

  • Q0：最小值（Minimum）
  • Q1：下四分位数（Lower Quartile）
  • Q2：中位数（Median）
  • Q3：上四分位数（Upper Quartile）
  • Q4：最大值（Maximum）

将Q1与Q3之间的间距称为IQR，当样本偏离上四分位1.5倍的IQR（或是偏离下四分位数1.5倍的IQR）的情况下，将样本视为是一个离群点。


应用：根据历史数据(例如近一个月)计算IQR，1.5倍的IQR上下限值。使用上下限值作为当前的

最低0.47元/天 解锁文章
异常检测的阈值，你怎么选？给你整理好了...
机器学习算法与Python学习
09-19 1万+
异常值是指距离其他观测值非常遥远的点，但是我们应该如何度量这个距离的长度呢?同时异常值也可以被视为出现概率非常小的观测值，但是这也面临同样的问题——我们要如何度量这个概率...
动态调整阈值的方法具体如何实现？
百态老人的博客
01-30 1778
动态调整阈值的方法多种多样，其核心在于根据具体应用场景选择合适的算法和技术。例如，在系统监控中，可以结合统计分析和实时监测；在异常检测中，可以结合预测模型和事件触发机制；在硬件优化中，则可以结合硬件特性和业务需求进行调整。这些方法的共同目标是提高系统的灵活性、鲁棒性和适应性，从而更好地应对复杂多变的环境和需求。选择最合适的动态调整阈值方法需要根据具体的应用场景、数据特性和性能目标进行综合考虑。
监控系统异常检测实战：基于时间序列预测的动态阈值设定
最新发布
燃灯工作室
03-10 1146
提出TST模型(Time Series Transformer)，在长期依赖建模上比LSTM提升23%的预测准确率。某量化交易平台需要实时监控订单处理延迟（P99指标），要求5分钟内检测出异常波动。使用GAN生成对抗样本，增强模型对极端值的鲁棒性。为置信系数（95%置信度对应1.96）存在单位根（非平稳）
dyn_threshold（动态阈值）解析
qq_21210467的博客
06-09 7171
在图像处理的时候会遇到背景和ROI区域难以提取的情况。不能简单的使用一个全局阈值来对图像进行分割。此时会用到动态阈值分割的方法： 转自：dyn_shreshold（动态阈值）解析 1. 算子结构 首先看dyn_threshold 算子参数 dyn_threshold(OrigImage, ThresholdImage : RegionDynThresh : Offset, LightDar...
网络异常点检测中性能指标阈值的动态确定方法 (2011年)
05-10
通过检测代表性能降质的异常点来实现故障的提前发现和快速恢复是提高通信网的可靠性的重要手段。采用基于统计假设检验的网络异常点检测方法,提出一种综合运用季节累积自回归滑动平均模型时间序列预测和置信区间计算来动态获取性能指标阈值的方法。利用累积自回归滑动平均模型在训练集上的拟合残差白噪声符合正态分布的假设,给出了一种通过构造满足t分布的随机变量来计算预测值在任意置信度1-a下置信区间的新算法。理论分析和实验结果表明,该阈值动态确定方法有效。
无监督异常检测中的阈值确定
qq_60609496的博客
10-23 3518
实际部署中, 需要设置阈值判断待测样本是否属于异常类，无监督方法对缺陷发生概率的表达往往基于异常分数。（1）将归一化的注意力图作为异常分数图，用于像素级的缺陷分割，该方法对阈值设置不敏感（2）PaDiM利用多元高斯分布进行特征建模，使用马氏距离度量异常分数，需要通过相关公式理论推导得出保证假阳性率在预期范围内的分界阈值。但是：这些解决方法不具有普适性，仍然需要借助异常样本来确定最佳阈值，因此借鉴4种使用验证集来设置阈值的方法，且验证集中只包含正常样本。1.最大缺陷分数法：（没有误检，大量漏检）
异常值检测
qq_42012732的博客
07-16 2260
目录1 概论1.1 异常检测的定义1.2 异常检测的应用场景1.3 异常值的特点1.4 异常检测算法分类2 Isolation Forest算法2.1 Isolation Forest 算法原理2.2 Isolation Forest 算法特点3 局部异常因子LOF算法3.1 LOF算法原理3.2 LOF算法特点4 One-Class SVM算法4.1 One-Class SVM算法原理4.2 One-Class SVM 算法特点：5 基于高斯概率密度算法5.1 基于高斯概率密度算法原理5.3 基于高斯概率
异常值检测大揭秘：多种方法应对数据异常(附代码)
weixin_46287760的博客
05-24 5249
本文将介绍异常值的概念及其影响、异常值检测与处理的重要性，以及针对异常值检测与处理的实验原理和实现。希望通过本文的介绍，读者能够更好地了解异常值检测与处理的意义，掌握相关方法的使用和操作，提高数据分析的准确性和可靠性。
基于动态阈值的异常检测内含数据集.zip
04-12
"基于动态阈值的异常检测"是一种广泛应用的方法，它旨在识别那些在特定上下文中不寻常的观测值。在这个主题中，我们将深入探讨动态阈值的概念、实现方法以及其在异常检测中的应用。 动态阈值异常检测的核心在于它...
动态阈值_如何设置数据看板（大屏）数据异常报警的动态阈值
weixin_39988930的博客
11-22 3294
当数据看板的数据来自基于多个异构数据源，而且需要根据细粒度数据做统计计算时，由于网络、服务器、数据库、传感器等影响，会出现数据更新中断及数据不完整情况。这种情况如果不及时处理，显示的异常数据会耽误或误导用户的决策。而及时处理的前提是及时、准确地报警。及时、准确报警的前提是正确的阈值设置。阈值设置有固定和动态两种。我们在一个项目中，开始针对每个指标(不同累计流量)设定固定上下限值作为阈值，低于下限或...
动态阈值和滑动窗口自适应
远方雪的专栏
12-22 2294
通过上述改进，您的异常检测算法将更加灵活和自适应，能够根据不同的输入数据动态调整检测标准，从而提高异常检测的准确性。同时，记录详细的异常时间和时间戳，有助于后续的分析和问题定位。动态阈值和滑动窗口自适应是两种不同的技术，它们都可以用于提高异常检测算法的适应性和准确性，但它们的应用方式和关注点有所不同。动态阈值和滑动窗口自适应动态阈值关注于根据数据的统计特性动态调整阈值，适用于数据分布相对稳定的场景。滑动窗口自适应。
动态门限-自定义阈值
张良
01-07 752
\documentclass[11pt]{article} \usepackage{CJK} \usepackage[top=2cm, bottom=2cm, left=2cm, right=2cm]{geometry} \usepackage{algorithm} \usepackage{algorithmicx} \usepackage{algpseudocode} \usepackage{amsmath} \usepackage{indentfirst} \floatname{algorithm}{
异常检测算法综述
ping_xu1990的博客
08-06 4497
对现阶段业内常用的异常检测算法进行了较详细的综述。主要介绍四类方法：统计方法、指标预测法、无监督方法及有监督方法。
15、异常检测
qq_43632490的博客
02-18 228
""" 这部分，您将实现一个异常检测算法来检测服务器计算机中的异常行为。 他的特征是测量每个服务器的响应速度(mb/s)和延迟(ms)。 当你的服务器运行时，你收集到了m=307的样本，是无标签的。 你相信其中绝大多数样本是正常的，但还是有一小部分的样本是异常的。 我们将使用高斯分布模型来检测数据集中的异常样本。 """ import pandas as pd import numpy as np from scipy.io import loadmat import matplotlib.pyplot
n维正态分布概率密度_异常检测的N种方法，阿里工程师都盘出来了
weixin_34501374的博客
12-29 699
阿里妹导读：互联网黑产盛行，其作弊手段层出不穷，导致广告效果降低，APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。作者 | 黎伟斌、胡熠、王皓背景异常点检测(Outlier detection)，又称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程...
动态阈值法学习笔记
我不喜欢吃氧化亚铁的博客
04-15 4138
动态阈值法学习笔记 大津法 大津法来由： ​ 最大类间方差法是由日本学者大津于1979年提出的,是一种自适应的阈值确定的方法,又叫大津法,简称OTSU。它是按图像的灰度特性,将图像分成背景和目标2部分。 原理： ​ 使图像的类间方差最大,类间方差g为 g=w0∗w1∗(μ1−μ0)2 g=w_0*w1*(μ_1-μ_0)^2 g=w0​∗w1∗(μ1​−μ0​)2 ​ 其是设定一个阈值T,分割图像...
Python数据分析基础: 异常值检测和处理
热门推荐
Python数据科学
10-31 2万+
作者：东哥起飞 公众号：Python数据科学 上一篇分享了关于数据缺失值处理的一些方法，链接如下： 【Python数据分析基础】: 数据缺失值处理 本篇继续分享数据清洗中的另一个常见问题：异常值检测和处理。 1 什么是异常值？ 在机器学习中，异常检测和处理是一个比较小的分支，或者说，是机器学习的一个副产物，因为在一般的预测问题中，模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点，通常异常点在预.
【halcon】例子分析之动态阈值
songhuangong123的博客
06-06 3648
之前的【halcon】系列文章中，有介绍全局，阈值的方法，threshold。但是当我们的图片的背景光线不均匀时，我们就需要动态阈值的方式，及不同的明度区域使用不同的阈值。如：这张图就是明暗不均，我们没有办法使用全局的阈值挑选出全部的“棋子”动态阈值时根据周围的环境进行对比的，使用我们先需要做一个均值滤波： 做了这个均值滤波之后得到了一个“明暗的背景”，它并不是最终的结果，而是一个动态阈值的参考对象。 使用 light，表示和平均值相比offset=15，更亮的部分。 使用 dark，表示和平均
使用LSTM和非参数动态阈值检测航天器异常
"这篇论文探讨了使用长短期记忆网络（LSTM）和非参数动态阈值方法在航天器异常检测中的应用。通过分析土壤水分主动被动（SMAP）卫星和火星科学实验室（MSL）'好奇号'漫游者的遥测数据，作者展示了LSTM如何在解决传统...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值