异常检测学习之初识异常检测

感想

1、异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。一听这名称，给人感觉高大上，其实就是研究极少数事件，离群点研究，如识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题。
2、分类
有监督：训练集的正例和反例均有标签
无监督：训练集无标签
半监督：在训练集中只有单一类别（正常实例）的实例，没有异常实例参与训练
3、常用方法
①、统计学方法：对数据的正常性做出假定。前提数据服从正态分布。学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。
②、PCA方法：通过构造一个新的特征空间，把原数据映射到这个新的低维空间里。
③、聚类算法：将数据点划分为一个个相对密集的“簇”，而那些不能被归为某个簇的点，则被视作离群点。
④、k近邻算法：对每一个点，计算其与最近k个相邻点的距离，通过距离的大小来判断它是否为离群点。数据量太大不适用。
⑤、LOF算法（局部离群因子）：将相邻点之间的距离进一步转化为“邻域”，从而得到邻域中点的数量（即密度），认为密度远低于其邻居的样本为异常值。
⑥、集成方法：将多个算法或多个基检测器的输出结合起来，投票选出离群点。如：Feature bagging，孤立森林。
⑦、树模型方法：用以处理分类数据，如gbdt,xgboost等。缺点是异常检测场景下数据