- 博客(4)
- 收藏
- 关注
RSS订阅原创 Anomaly Detection——High Dimensional Data Anomaly Detection
异常检测——高维数据异常检测1、引言2、Feature Bagging3、Isolation Forests4、总结5、参考文献 1、引言 在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的
2021-01-24 23:38:56
218
原创 Anomaly Detection——Method based on Similarity
异常检测——基于相似度的方法1、概述2、基于距离的度量2.1 基于单元的方法2.2 基于索引的方法3、基于密度的度量3.1 k-距离（k-distance(p)）：3.2 k-邻域（k-distance neighborhood）：3.3 可达距离（reachability distance）：3.4 局部可达密度（local reachability density）：3.5 局部异常因子： 1、概述 “异常”通常是一个主观的判断，什么样的数据被认为是“异常”的，需要结合业务背景和环境来具体分析确定。
2021-01-20 17:06:31
134
原创 Anomaly Detection——Methods Based on Linear Correlation
异常检测——线性相关方法1、引言2、数据可视化3、线性回归3.1 基于自变量与因变量的线性回归3.1.1 最小二乘法3.1.2 梯度下降法3.2 基于异常检测的线性回归4、主成分分析4.1 原理推导4.2 归一化问题5、回归分析的局限性6、总结参考文献 1、引言 真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中，这被称为——回归建模，一种参数化的相关性分析。 一类相关性分析试图通过其他变量预测单独的属性值，另一类方法用一些潜
2021-01-18 18:25:58
112
原创 Anomaly Detection——Methods Based on Statistics
异常检测——基于统计学的方法1. 概述2. 参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测多个特征相关，且符合多元高斯分布使用混合参数分布3. 非参数方法4. HBOS5. 总结6. 练习关于Datawhale 1. 概述 统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概
2021-01-16 23:24:43
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人