python分类算法svm_Python机器学习笔记：异常点检测算法——One Class SVM

完整代码及其数据，请移步小编的GitHub

传送门：请点击我

如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote

前言

最近老板有一个需求，做单样本检测，也就是说只有一个类别的数据集与标签，因为在工厂设备中，控制系统的任务是判断是是否有意外情况出现，例如产品质量过低，机器产生奇怪的震动或者机器零件脱落等。相对来说容易得到正常场景下的训练数据，但故障系统状态的收集示例数据可能相当昂贵，或者根本不可能。如果可以模拟一个错误的系统状态，问题就好解决多了，但无法保证所有的错误状态都被模拟到，所以只能寻找单样本检测相关的算法。

所幸了解到一些单样本检测的算法，比如Isolation Forest，One-Class Classification，所以这篇文章就记录一下自己做的关于One-Class SVM 的笔记。

一，单分类算法简介

One Class Learning 比较经典的算法是One-Class-SVM，这个算法的思路非常简单，就是寻找一个超平面将样本中的正例圈出来，预测就是用这个超平面做决策，在圈内的样本就认为是正样本。由于核函数计算比较耗时，在海量数据的场景用的并不多；

另一个算法是基于神经网络的算法，在深度学习中广泛使用的自编码算法可以应用在单分类的问题上，自编码是一个BP神经网络，网络输入层和输出层是一样，中间层数可以有多层，中间层的节点个数比输出层少，最简单的情况就是中间只有一个隐藏层，如下图所示，由于中间层的节点数较少，这样中间层相当于是对数据进行了压缩和抽象，实现无监督的方式学习数据的抽象特征。

如果我们只有正样本数据，没有负样本数据，或者说只关注学习正样本的规律，那么利用正样本训练一个自编码器，编码器就相当于单分类的模型，对全量数据进行预测时，通过比较输入层和输出层的相似度就可以判断记录是否属于正样本。由于自编码采用神经网络实现，可以用GPU来进行加速计算，因此比较适合海量数据的场景。

还有Robust covariance 方法，基于协方差的稳健估计，假设数据是高斯分布的，那么在这样的案例中执行效果将优于One-Class SVM ；

最后就是Isolation Forest方法，孤立森林是一个高效的异常点检测算法。Sklearn提供了ensemble.IsolatuibForest模块。该模块在进行检测时，会随机选取一个特征，然后在所选特征的最大值和最小值随机选择一个分切面。该算法下整个训练集的训练就像一棵树一样，递归的划分。划分的次数等于根节点到叶子节点的路径距离d。所有随机树(为了增强鲁棒性，会随机选取很多树形成森林)的d的平均值，就是我们检测函数的最终结果。

孤立森林相关笔记可以参考这里：请点击我

sklearn中关于异常检测的说法

Novelty and Outlier Detection

Many applications require being able to decide whether a new observation belongs to the same distribution as existing observations(it is an inlier), or should be considered as different (it is an outlier).Often, this ability is used to clean real data sets.Two import distinction must be made:

许多应用程序需要能够决定是否一个新的观察属于与存在观察点有相同分布(这是同类)，或者应该被认为是不同的(它是个异类)，通常这种能力是用来清洁真实数据集。两个差别如下：

novelty detection

The training data is not polluted by outliers, and we are interested in detecting anomalies in new observations.

当训练数据中没有离群点，我们的目标是用训练好的模型去检测另外发现的新样本

outlier  dection

The training data contains outliers, and we need to fit the central mode of the training data, ignoring the deviant observations.

当训练数据中包含离群点，模型训练时要匹配训练数据的中心样本，忽视训练样本中的其他异常点。

sklearn提供了一些机器学习方法，可用于奇异(Novelty)点或者异常(Outlier)点检测，包括OneClassSVM，Isolation Forest，Local Outlier Factor(LOF)等，其中OneCLassSVM可以用于Novelty Dection，而后两者可用于Outlier Detection。

One-Class SVM 算法简介

严格来说，OneCLassSVM不是一种outlier detection，而是一种novelty detection方法：它的训练集不应该掺杂异常点，因为模型可能会去匹配这些异常点。但在数据维度很高，或者对相关数据分布没有任何假设的情况下，OneClassSVM也可以作为一种很好的outlier detection方法。

在one-class classification中，仅仅只有一类的信息是可以用于训练，其他类别的(总称outlier)信息是缺失的，也就是区分两个类别的边界线是通过仅有的一类数据的信息学习得到的。

OneClass 与二分类，多分类的区别

如果将分类算法进行划分，根据类别个数的不同可以分为单分类，二分类，多分类。常见的分类算法主要解决二分类和多分类问题，预测一封邮件是否是垃圾邮件是一个典型的二分类问题，手写体识别是一个典型的多分类问题，这些算法并不能很好的应用在单分类上，但是单分类问题在工业界广泛存在，由于每个企业刻画用户的数据都是有限的，很多二分类问题很难找到负样本，即使用一些排除法筛选出负样本，负样本也会不纯，不能保证负样本中没有正样本。所以在只能定义正样本不能定义负样本的场景中，