python one class svm_Python机器学习笔记：One Class SVM

前言

最近老板有一个需求，做单样本检测，也就是说只有一个类别的数据集与标签，因为在工厂设备中，控制系统的任务是判断是是否有意外情况出现，例如产品质量过低，机器产生奇怪的震动或者机器零件脱落等。相对来说容易得到正常场景下的训练数据，但故障系统状态的收集示例数据可能相当昂贵，或者根本不可能。如果可以模拟一个错误的系统状态，问题就好解决多了，但无法保证所有的错误状态都被模拟到，所以只能寻找单样本检测相关的算法。

所幸了解到一些单样本检测的算法，比如Isolation Forest，One-Class Classification，所以这篇文章就记录一下自己做的关于One-Class SVM 的笔记。

一，单分类算法简介

One Class Learning 比较经典的算法是One-Class-SVM，这个算法的思路非常简单，就是寻找一个超平面将样本中的正例圈出来，预测就是用这个超平面做决策，在圈内的样本就认为是正样本。由于核函数计算比较耗时，在海量数据的场景用的并不多；

另一个算法是基于神经网络的算法，在深度学习中广泛使用的自编码算法可以应用在单分类的问题上，自编码是一个BP神经网络，网络输入层和输出层是一样，中间层数可以有多层，中间层的节点个数比输出层少，最简单的情况就是中间只有一个隐藏层，如下图所示，由于中间层的节点数较少，这样中间层相当于是对数据进行了压缩和抽象，实现无监督的方式学习数据的抽象特征。

如果我们只有正样本数据，没有负样本数据，或者说只关注学习正样本的规律，那么利用正样本训练一个自编码器，编码器就相当于单分类的模型，对全量数据进行预测时，通过比较输入层和输出层的相似度就可以判断记录是否属于正样本。由于自编码采用神经网络实现，可以用GPU来进行加速计算，因此比较适合海量数据的场景。

还有Robust covariance 方法，基于协方差的稳健估计，假设数据是高斯分布的，那么在这样的案例中执行效果将优于One-Class SVM ；

最后就是Isolation Forest方法，孤立森林是一个高效的异常点检测算法。Sklearn提供了ensemble.IsolatuibForest模块。该模块在进行检测时，会随机选取一个特征，然后在所选特征的最大值和最小值随机选择一个分切面。该算法下整个训练集的训练就像一棵树一样，递归的划分。划分的次数等于根节点到叶子节点的路径距离d。所有随机树(为了增强鲁棒性，会随机选取很多树形成森林)的d的平均值，就是我们检测函数的最终结果。

孤立森林相关笔记可以参考这里：请点击我

One-Class SVM 算法简介

sklearn提供了一些机器学习方法，可用于奇异(Novelty)点或者异常(Outlier)点检测，包括OneClassSVM，Isolation Forest，Local Outlier Factor(LOF)等，其中OneCLassSVM可以用于Novelty Dection，而后两者可用于Outlier Detection。

严格来说，OneCLassSVM不是一种outlier detection，而是一种novelty detection方法：它的训练集不应该掺杂异常点，因为模型可能会去匹配这些异常点。但在数据维度很高，或者对相关数据分布没有任何假设的情况下，OneClassSVM也可以作为一种很好的outlier detection方法。

在one-class classification中，仅仅只有一类的信息是可以用于训练，其他类别的(总称outlier)信息是缺失的，也就是区分两个类别的边界线是通过仅有的一类数据的信息学习得到的。

名词解释

novelty detection

当训练数据中没有离群点，我们的目标是用训练好的模型去检测另外发现的新样本

outlier  dection

当训练数据中包含离群点，模型训练时要匹配训练数据的中心样本，忽视训练样本中的其他异常点。

OneClass 与二分类，多分类的区别

如果将分类算法进行划分，根据类别个数的不同可以分为单分类，二分类，多分类。常见的分类算法主要解决二分类和多分类问题，预测一封邮件是否是垃圾邮件是一个典型的二分类问题，手写体识别是一个典型的多分类问题，这些算法并不能很好的应用在单分类上，但是单分类问题在工业界广泛存在，由于每个企业刻画用户的数据都是有限的，很多二分类问题很难找到负样本，即使用一些排除法筛选出负样本，负样本也会不纯，不能保证负样本中没有正样本。所以在只能定义正样本不能定义负样本的场景中，使用单分类算法更合适。

单分类算法只关注与样本的相似或者匹配程度，对于未知的部分不妄下结论。

典型的二类问题：识别邮件是否是垃圾邮件，一类“是”，一类“不是”。

典型的多类问题：人脸识别，每个人对应的脸就是一个类，然后把待识别的脸分到对应的类去。

而OneClassClassification，它只有一个类，属于该类就返回结果“是”，不属于就返回结果“不是”。

其区别就是在二分类问题中，训练集中就由两个类的样本组成，训练出的模型是一个二分类模型；而OneClassClassification中的训练样本只有一类，因此训练出的分类器将不属于该类的所有其他样本判别为“不是”即可，而不是由于属于另一类才返回“不是”的结果。

现实场景中的OneCLassClassification例子：现在有一堆某商品的历史销售数据，记录着买该产品的用户信息，此外还有一些没有购买过该产品的用户信息，想通过二分类来预测他们是否会买该产品，也就是两个类，一类是“买”，一类是“不买”。当我们要开始训练二分类器的时候问题来了，一般来说没买的用户数会远远大于已经买了的用户数，当将数据不均衡的正负样本投入训练时