异常检测系列
文章平均质量分 93
哈布
huangcy
展开
-
异常检测入门系列(五.高维数据异常检测)
异常检测入门系列(五.高维数据异常检测)高维数据异常检测异常检测入门系列(五.高维数据异常检测)前言1、Feature Bagging2、Isolation Forests3、总结4、问题5、实例练习5.1 使用PyOD库生成toy example并调用feature bagging5.2 使用PyOD库生成toy example并调用Isolation Forests参考资料前言 在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是原创 2021-05-24 01:49:26 · 625 阅读 · 0 评论 -
异常检测入门系列(四.基于相似度方法)
异常检测入门系列(四.基于相似度方法)基于相似度方法异常检测入门系列(四.基于相似度方法)前言1、基于距离的度量1.1 基于单元的方法1.2 基于索引的方法2、基于密度的度量2.1 k-距离(k-distance(p)):2.2 k-邻域(k-distance neighborhood):2.3 可达距离(reachability distance):2.4 局部可达密度(local reachability density):2.5 局部异常因子:3、实例练习3.1 使用sklearn构建LOF:3.2原创 2021-05-20 23:34:34 · 205 阅读 · 0 评论 -
异常检测入门系列(三.线性相关方法)
异常检测入门系列(三.线性相关方法)线性相关方法异常检测入门系列(三.线性相关方法)前言1 线性回归1.1 基于自变量与因变量的线性回归1.1.1 最小二乘法1.1.2 梯度下降法1.2 基于异常检测的线性回归2 主成分分析2.1 原理推导2.2 归一化问题3 回归分析的局限性4 实例5 总结参考资料前言真实数据集中不同维度的数据通常具有高度的相关性,这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中,这被称为——回归建模,一种参数化的相关性分析。 一类相关性分析试图原创 2021-05-18 01:39:25 · 145 阅读 · 0 评论 -
异常检测入门系列(二.基于统计学的方法)
异常检测入门系列(二.基于统计学方法)提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档基于统计学方法异常检测入门系列(二.基于统计学方法)前言一、参数方法1.1 基于正态分布的一元异常点检测1.2 多元异常点检测1.3 多个特征相关,且符合多元高斯分布1.4.使用混合参数分布二、非参数方法2.1 基于角度的方法2.2 HBOS5、总结参考资料前言统计学原创 2021-05-15 12:18:12 · 147 阅读 · 0 评论 -
异常检测入门系列(一.概述与基本方法)
异常检测入门系列一 异常检测概述异常检测基本概念异常检测基本方法(1) 基于统计学方法(2) 基于线性模型(3) 基于邻近度方法(4) 集成方法(5) 机器学习模型参考资料一 异常检测概述异常检测基本概念异常检测(Outlier Detection)是识别与正常数据不同的数据,与预期行为差异大的数据。异常数据探测是数据挖掘的一个热门研究领域,被广泛运用,如设备监控、入侵检测、网站运维、医疗诊断、信用卡欺诈、污染探测等等。不论在什么场景下,正常情况下的数据都具有一定的特征模式,及正常模式。在异常情况发原创 2021-05-12 02:12:10 · 708 阅读 · 0 评论