异常检测task1：异常检测介绍

概述（手动笔记）

一、什么是异常检测

1、异常检测：识别与正常数据不同的数据，与预期行为差距大的数据
2、异常的类别
1）点异常：大多数个体正常，少数异常
2）条件异常：特定情境下个体实例异常，其他情景下是正常的
3）群体异常：群体集合中的个体异常，个体实例可能并非异常
3、异常检测的任务分类：有监督、无监督、半监督
4、异常检测场景：故障、医疗日常、网络入侵、反欺诈、反作弊等等
5、异常检测难点
1）数据量少，类别标签不平衡
2）噪音

二、异常检测方法

1、基础方法
1）基于统计学的方法：假定数据服从正态分布，μ+3σ方法填充（nan）异常值。
2）线性模型：pca降维
3）基于近邻度的方法
该方法适用于聚集程度高，离群点较少的情况。同时这类算法计算量较大，不适用于数据量大、维度高的数据。
方法：dbscan等聚类算法、k近邻、lof（局部离群因子）算法等
2、集成方法
1）feature bagging、孤立森林等
3、机器学习
在有标签的情况下，可以考虑boosting算法，但异常检测场景下数据标签容易不均衡，可以利用机器学习算法构造不同特征。