异常检测3——常见方法分类

最新推荐文章于 2023-02-03 23:14:13 发布
最新推荐文章于 2023-02-03 23:14:13 发布
阅读量2.2k 收藏 8
点赞数
分类专栏： 异常检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shaoyue1234/article/details/102520429
版权

异常检测3——常见方法分类

基于统计学

极值分析

往往只对单独纬度进行研究，使用上有很大的局限性【1】

对数据分布进行假设

对异常数据和正常数据进行不同的分布假设，并用EM算法拟合数据。局限性在于假设往往和实际有较大出入，效果一般

基于线性分析

在低纬度上分析数据间的相关性。比如PCA，Factor Analysis等。但是压缩或找到低维嵌入后，数据的可解释性下降。

基于时空

空间关系造成的异常

在这里插入图片描述
O点单独看来的情况下是正常点，但是考虑到临近点后是异常点

时间序列上的异常

在这里插入图片描述
在这里插入图片描述

基于相似性分析

建立在距离度量上的异常检测

如K近邻为原型的

建立在密度分析上的异常检测

如Local outlier factor（LOF）

基于聚类的异常检测

先把人分群，然后把明显跟大伙儿不同的小群体去掉，那这部分小群体就是异常点。利用聚类检测异常点的方法是丢弃远离其他簇的小簇[3]

基于偏差

这种方法的思想是考虑到异常值跟整个数据集通常的特性（general characteristics）不一致，认为异常值是离中心最远的点，当移除这些点时，整个数据集某个特征的方差就会减小。比如一种模型的方法是定义一个smooth factor，它表示的就是当某条数据从整体里移除时，方差（variance）降低多少，一般来说，异常值降低的值会大于正常值。[2]

高维方法

在高维下做异常检测会出现以下问题：

  1. 随着维度的增加，各个点距离的区分度是很小的；
  2. 数据很稀疏，几乎所有的点都是离群点；
  3. 邻近的概念变得没有意义。
    针对以上的问题，解决方案如下：
  4. 采样更鲁棒的距离函数，并且在full-dimensional找异常点；
  5. 在原始子空间的特征空间里找异常点。
    基于角度的方法往往在高维空间里会很有效。通常来说如果点o是异常点的话，那么它与其它点的角度都差不多，如果不是异常点，它与其它点的角度就多种多样。[2]

其他

集成异常检测

isolation forest
feature bagging

监督异常检测，半监督异常检测，主动学习

图中的异常检测、网络中的异常检测

参考资料：
[1]机器学习门下，有哪些在工业界应用较多，前景较好的小方向？ - 微调的回答 - 知乎
[2]数据挖掘中常见的「异常检测」算法有哪些？ - 尼古丁布的回答 - 知乎
[3]数据挖掘中常见的「异常检测」算法有哪些？ - 恒仔的回答 - 知乎

shaoyue1234
关注
专栏目录
n维正态分布概率密度_异常检测的N种方法，阿里工程师都盘出来了
weixin_34501374的博客
12-29 636
阿里妹导读：互联网黑产盛行，其作弊手段层出不穷，导致广告效果降低，APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。作者 | 黎伟斌、胡熠、王皓背景异常点检测(Outlier detection)，又称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程...
异常检测方法
weixin_37801695的博客
12-04 1万+
异常检测可谓是一个博大精深的研究方向，在故障检测、欺诈检测、入侵检测领域有着广泛应用。本文只是结合各网络资源对其基础进行简单介绍，涉及到具体的领域和实际应用，还需进行深入研究和尝试。什么是异常检测异常检测是检测不符合期望的数据、行为，在实际应用中包括去噪、网络入侵检测、欺诈检测、设备故障检测、机会识别、风险识别、特殊群体识别、患病诊断、视频监测等。异常检测通过对输入数据进行分析，检测异常状态。输入数
异常检测方法概述
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
04-11 1087
文章目录前言异常类型离群值2.尖峰与电平转化3.模式变化4.季节性总结 前言 用户在构建模型之前需要决定的第一件事是将问题表述为监督学习问题还是无监督问题。监督学习方法基于时间序列和训练集中的正常/异常标签训练模型，而无监督方法仅基于时间序列和领域知识构建模型，不需要标记数据。 现实世界的异常检测问题通常缺乏标记的历史异常，这可能会阻止用户构建稳健的监督模型。在这种情况下，无监督/基于规则的方法是更好的选择。 异常类型 异常是一个广义的概念，它可以指代时间序列中许多不同类型的事件。根据具体情况，价值飙升
14 种异常检测方法
专业主义
09-28 172
异常检测
异常检测用几种方法
p15097962069的博客
07-31 110
异常检测用几种方法
三种类型—异常检测
weixin_45153493的博客
09-18 287
异常检测异常检测方法概述 异常检测方法概述 基于统计学（一维数据） 1.1sigma原则 1.2箱线图原则 无监督分类 2.1 孤立森林 ：outlier detection: 训练集中有异常样本 2.2 LOF ：局部异常因子算法，outlier detection 2.3 OneClassSVM ：novelty detection， 训练集中没有异常样本 基于重构误差 3.1 PCA “Therefore, outlier scores can be obtained as the sum of t
异常检测基本概念和方法
williamjame的博客
05-12 556
1.异常检测基本概念 异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。 1.1 异常的类别 点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。 条件异常：又称上下文异常，指的是在1. 异常检测基本概念 异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。 1.1异常的类别 点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。 条件异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的。 群体异常：在群体集合中的个体实例出现异常的情况，而该个体
2018异常检测综述——基于统计学、邻近度、密度、聚类的异常检测方法
Yancy的博客
11-27 1万+
目录 一、基础知识 异常成因 异常检测方法 异常检测的关键问题 二、基于统计学的方法 三、基于邻近度的方法 四、基于密度的方法 五、基于聚类的方法 异常检测（Anomaly Detection）也称偏差(deviation)检测或者离群点(outlier)检测，从数据的角度来看，其实就是检测出和众多其他观测值差别非常大的一个特殊的观测值。异常检测在历史上实际是数据预处理的一个步骤...
异常检测——基于统计学的方法
疯子书生的博客
01-12 1259
异常检测——基于统计学的方法 主要内容： 高斯分布 箱线图 文章目录异常检测——基于统计学的方法1、概述2、参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测2.2 多个特征相关，且符合多元高斯分布2.3.使用混合参数分布3、非参数方法4、HBOS5、总结6、练习参考资料 1、概述 统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般
异常检测——基于统计学的方法—学习笔记
AI_SupplyChain的博客
05-14 782
异常检测——基于统计学的方法1、基于统计学方法的异常检测概述2、参数方法2.1 正态分布中的Z分布（Z-score)3、非参数方法3.1 直方图4、基于角度的方法5、HBOS 1、基于统计学方法的异常检测概述 异常检测的统计学方法的一般思想是：利用给定的已知数据进行构建模型，然后识别该模型低概率区域中的对象，把它们作为异常点。 即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。把可能性低的点，视作异常点。 根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法
异常检测——高维数据异常检测
AI
05-23 483
异常检测——高维数据异常检测 一个物体可能有几个被测量的量，这个物体的显著异常行为可能只反映在这些量的一小部分中。 也即，一小部分的测量的数据中可能可以找到异常值，因为数据维度不高，但是当来自测量的数据以全维度表示时，异常数据点将在几乎所有数据视图中显式为正常。即大量正常测量的噪声变化将掩盖异常值。 因此，异常值通常嵌入到局部相关的子空间中。 因此，探索低维子空间以获得感兴趣的偏差是有意义的。这种方法过滤掉了大量维数的加性效应，并导致了更健壮的异常值。 在实际场景中，很多数据集都是多维度的。随着维度的增加，
python分类算法svm_Python机器学习笔记：异常点检测算法——One Class SVM
weixin_39900045的博客
12-06 1176
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote前言最近老板有一个需求，做单样本检测，也就是说只有一个类别的数据集与标签，因为在工厂设备中，控制系统的任务是判断是是否有意外情况出现，例如产品质量过低，机器产生奇怪的震动或者机器零件脱落等。相对来说容易得到正常场景下的训练数据，...
一文详解8种异常检测算法（附Python代码）
热门推荐
m0_59596937的博客
02-03 2万+
异常检测是通过数据挖掘方法发现与数据集分布不一致的异常数据，也被称为离群点、异常值检测等等。
异常检测3
poorlytechnology的博客
05-17 145
task3：线性相关方法 1前言 真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往由相同的基础过程以密切相关的方式产生的。在古典统计学中这被称为回归建模，一种参数化的相关性分析。一类相关性分析试图通过其他变量预测单独的属性值，另一类用一些潜在变量来代表整个数据。前者的代表是线性回归，后者的一个典型例子是主成分分析。 需要明确的是，这里有两个重要的假设： 假设一：近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论基础。 假设二：子空间假设。子空间假设认为数据是镶嵌在低维子
Java中测试异常的多种方式
n8765的专栏
01-20 1267
Java中测试异常的多种方式 使用JUnit来测试Java代码中的异常有很多种方式，你知道几种? 　　使用JUnit来测试Java代码中的异常有很多种方式，你知道几种? 　　给定这样一个class。 　　Person.java 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
【异常检测三件套】系列2--14类异常检测方法
allein_STR的博客
11-10 980
异常检测（Anomaly detection）是目前时序数据分析最成熟的应用之一，定义是从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。以在轨航天器为例，由于航天器昂贵且系统复杂，未能检测到危险可能会导致严重甚至无法弥补的损害。异常随时可能发展为严重故障，因此准确及时的异常检测可以提醒航天工程师尽早采取措施。 一般而言，很多异常可以通过人工的方式来判断。然而当业务组合复杂、时序规模变大后，依靠..
时空数据与异常检测
qq_35780315的博客
07-13 1111
2020四月 IEEE Access HUAD: Hierarchical Urban Anomaly Detection Based on Spatio-Temporal Data（基于时空数据的分层城市异常检测） 识别城市中的交通异常流情况，数据是出租车、地铁数据，其实验方法是将城市地图分成区块，用了时空信息，但是不是时空图，本质图是普通图。 2019十月 IEEE Access Anomaly Detection Based on Spatio-Temporal and Sparse Featu.
异常检测
xys430381_1的专栏
09-23 318
定义 异常检测（或异常值检测）是对稀有物品、事件或观察结果的识别，这些物品、事件或观察结果与大多数数据存在显著差异，从而引起疑虑。通常，异常数据可以关联到某种问题或罕见事件，例如银行欺诈、医疗问题、结构缺陷、故障设备等。这种连接能够有趣地找出哪些数据点可以被视为异常，因为从业务角度来看，识别这些事件通常非常有趣。 技术路径： 异常检测方法可以大致分为基于统计，基于邻近和基于偏差[1]三种类型。 统计异常检测假定数据是根据指定的概率分布建模的。诸如高斯混合的参数模型或诸如核密度估计的非参数模型可用于定义概率分
异常点检测算法分析与选择
09-11 1万+
1.1 常见异常点检测算法在数据库中包含着少数的数据对象，它们与数据的一般行为或特征不一致，这些数据对象叫做异常点(Outlier)，也叫做孤立点。异常点的检测和分析是一种十分重要的数据挖掘类型，被称之为异常点挖掘[28]。对于异常数据的挖掘主要是使用偏差检测，在数学意义上，偏差是指分类中的反常实例、不满足
异常值检测 —— MAD（median absolute deviation）
最新发布
05-26
MAD（median absolute deviation）是一种常见的异常值检测方法，它基于数据的中位数来度量数据的离散程度。 具体来说，MAD 的计算方法如下： 1. 计算数据的中位数 median； 2. 对于每个数据点，计算它与中位数之间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值