异常检测
文章平均质量分 91
学习异常检测
Yzy_gold
这个作者很懒,什么都没留下…
展开
-
五、集成方法
#异常检测——高维数据异常检测转载于datawhale主要内容包括:Feature Bagging孤立森林文章目录1、引言2、Feature Bagging3、Isolation Forests4、总结5、练习参考资料1、引言在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在转载 2021-05-23 19:06:59 · 1774 阅读 · 0 评论 -
四、基于邻近度的方法
#异常检测——基于相似度的方法转载于datawhale主要内容包括:基于距离的度量基于密度的度量文章目录1、概述2、基于距离的度量2.1 基于单元的方法2.2 基于索引的方法3、基于密度的度量3.1 k-距离(k-distance(p)):3.2 k-邻域(k-distance neighborhood):3.3 可达距离(reachability distance):3.4 局部可达密度(local reachability density):3.5 局部异常因子:参考资料1、概述 “转载 2021-05-20 15:58:20 · 712 阅读 · 0 评论 -
三、异常检测-线性模型
#异常检测——线性相关方法最近学习异常检测,觉得很不错,记录一下主要内容包括:线性回归主成分分析1、引言 真实数据集中不同维度的数据通常具有高度的相关性,这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中,这被称为——回归建模,一种参数化的相关性分析。 一类相关性分析试图通过其他变量预测单独的属性值,另一类方法用一些潜在变量来代表整个数据。前者的代表是 线性回归,后者一个典型的例子是 主成分分析。本文将会用这两种典型的线性相关分析方法进行异常检测。 需转载 2021-05-17 14:37:13 · 174 阅读 · 0 评论 -
二、基于统计学的方法
#异常检测——基于统计学的方法最近在学习异常检测,datawhale的资料很不错,保存一波主要内容包括:高斯分布箱线图HBOS文章目录1、概述2、参数方法3、非参数方法4、基于角度的方法5、HBOS5、总结参考资料1、概述统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生,而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。异常检测的统计学方法的一般思想是:学习一个拟合给定数据集的生成模型,然后识别该模型低概率转载 2021-05-14 19:37:47 · 247 阅读 · 0 评论 -
一、异常检测概述
最近学习datawhale的异常检测,觉得资料很不错,所以转载一波1、什么是异常检测异常检测(Outlier Detection),顾名思义,是识别与正常数据不同的数据,与预期行为差异大的数据。识别如信用卡欺诈,工业生产异常,网络流里的异常(网络侵入)等问题,针对的是少数的事件。1.1 异常的类别点异常(point anomalies)指的是少数个体实例是异常的,大多数个体实例是正常的,例如正常人与病人的健康指标;条件异常(conditional anomalies),又称上下文异常,指的是在特转载 2021-05-10 21:50:14 · 1192 阅读 · 0 评论