Datawhale 异常检测学习之Task01----异常检测介绍（上）

---

前言

Datawhale 异常检测学习之一

Task01：异常检测介绍（2天）

1. 了解异常检测基本概念
2. 了解异常检测基本方法

---

一、什么是异常检测？

异常检测是指识别出与正常数据或者预测结果相差较大的数据。在金融、医疗、和工业上都有着重要的应用价值，常应用的场景有：故障检测、物联网异常检测、欺诈检测、时间序列异常检测、日志异常检测、医疗异常检测等等。

二、异常检测常用的方法

异常检测上常用的方法主要分为三大类：

1. 传统方法
2. 集成方法
3. 机器学习方法

1.传统方法

1.1 统计方法

利用数据的统计分布特征，将低概率区域的数据点视为异常值。

1.2 线性模型的方法

例如主成分分析方法(PCA)，对数据集进行降维。而降维后的数据可以最大程度地保留原始数据的特征（以数据协方差为衡量标准）

1.3 基于相似度的方法

这类方法通过数据之间的某种相似度识别异常值，适用于数据的聚集程度高、离群点较少的情况。因其复杂的计算量，不适合数据量大、维度高的情况。 基于相似度的方法主要包括：

• 基于集群的方法---------如聚类方法
• 基于距离的方法---------如KNN
• 基于密度的方法---------如LOF

2.集成方法

利用不同算法在不同数据分集上表现得效果不同，将其结果综合起来，如：

• feature bagging
• 孤立森林法

3.机器学习的方法

对于有标签的数据集来说，异常检测场景下数据标签是不均衡的代表性的方法如XGboost。

三、异常检测常用的开源库

scikit-learn

官网地址.

PyOD：

知乎教程.

---

总结

以上就是关于异常检测的概述内容，下文将简要介绍PyOD开源库的使用，以及task0的练习。

学习资源：https://github.com/datawhalechina/team-learning-data-mining/blob/master/AnomalyDetection/