![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
异常检测
文章平均质量分 67
mario12315
这个作者很懒,什么都没留下…
展开
-
异常检测之集成方法
一、前言背景:在现实异常检测业务场景中,数据集是多维度(通常是成百上千)的,随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题(高维空间分析和组织数据时出现的一些在地维空间可能不会出现的现象)。维度诅咒难点:维度诅咒对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中),这使得一些基于距离的方法失效。解决办法:子空间方法集成方法是子空间方法的一种,其优势是:原创 2021-01-24 20:55:58 · 823 阅读 · 0 评论 -
异常检测之线性方法
感谢datawhale大部队!一 引言 在异常检测中,线性方法也是常用的实现方法之一。 真实数据集中不同维度的数据通常具有高度的相关性,这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中,这被称为——回归建模,一种参数化的相关性分析。一类相关性分析试图通过其他变量预测单独的属性值,另一类方法用一些潜在变量来代表整个数据。前者的代表是线性回归,后者一个典型的例子是主成分分析(PCA)。需要明确的是,这里有两个重要的假设: 假设一:近...原创 2021-01-18 21:43:20 · 717 阅读 · 0 评论 -
异常检测之HBOS统计学方法(基于pyod实现示例)
感谢datawhale大部队!异常检测中,统计学方法的优缺点优点:1、如果统计假定成立,这种方法会非常有效 ;2、统计方法的置信区间可以作为额外的信息帮助决策缺点:这类方法严重依赖数据集的分布假定**HBOS(Histogram-based Outlier Score)**是一种原理简单,且通常很有效的无监督算法。一、环境准备pyod库安装:# 直接命令行pip安装pip install pyod启动jupyter notebook:# 以前已安装jupyter,命令行直接启动即原创 2021-01-16 00:53:25 · 1952 阅读 · 0 评论 -
浅谈异常检测
一、定义在数据挖掘中,异常检测(英语:anomaly detection)对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。二、异常类别点异常 上下文异常 群体异常三、常见业务场景业务监控告警(检测异常对任何业务来说都很重要),譬如日新增/活跃/留存用户量的异常监控告警。四、常用方法传统统计学知识 机器学习一般情况下,可以把异常检...原创 2021-01-13 00:53:03 · 488 阅读 · 0 评论