一类学习（OCSVM）

20201102 -

0. 引言

我记得我第一次接触一类学习的时候，是在一本讲解异常流量的书上。大概18年的时候，当时有一个需求，就是所处的场景下，只能拥有一类数据，而其他类的数据，要不获取不到，要不获取了也不具备什么代表性，总体上就是这么一个场景。由此接触到了一类学习，而一类学习中，比较著名的就是基于SVM的解决方法，关于SVM的讲解，可以看博客中另外一篇文章《支持向量机SVM的学习》，那么本篇文章就来具体讲讲一类SVM是一个什么套路。

本篇文章主要参考了两篇国外的博客来进行学习，分别是数学原理角度和代码角度，而且第二篇文章是从一类学习应对非均衡数据样本的情况的角度，下面开始。

1. 一类SVM原理简单介绍

该部分主要参考文章[1]，强烈建议读者阅读原文，跟着原作者的思路来学习。

1.1 一类SVM的应用场景

一般来说，普通机器学习的方法都是针对二分类或者多分类，通过不同的模型，依赖于不同的方法，寻找类别之间的分界面，从而实现最终的分类效果。但是有时候，你只拥有一类数据，或者说其他类别的数据非常少（异常检测场景，或者说样本不均衡场景），此时如何来应对呢？当然非均衡样本数据场景下还有别的解决方案，那么针对只有一类数据的场景，怎么办，正如前面引言中所说，此时可以使用一类学习的方法。
需要注意的是，一类学习是指训练过程中，只有一类数据，通过算法寻求出可以代表这部分数据的模型，从而在检测过程中，输出数据样本是否属于该类别。

1.2 一类SVM的实现方法

在文章[1]中，要具体学习一类SVM的话，需要SVM的知识，特别是目标函数最终的结果等内容。这里再简单记录一下。下面的公式是带有核函数的软边界SVM：
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{\Vert w{\Vert }^2}{2}+C\sum _{i=1}^n{\xi }_i \\ \text{subject to:} \\ {y}_i(w^T\varphi (x_i)+b)\ge 1-{\xi }_i\text{for all}i=1,...,n \\ {\varphi }_i\ge 0\text{for all}i=1,...,n \end{gathered}$$
通过拉格朗日算子来解决这个最小化问题，最终的决策函数为
$$f(x)=\text{sgn}(\sum _{i=1}^n{\alpha }_i{y}_{i}K(x,x_i)+b)$$

1.2.1 OSSVM（$\nu -\text{SVM}$）

第一种一类SVM的实现方法，通过将数据与原始空间的原点进行分开，同时最大化生成的超平面和原点的距离。此时的二次编程最小化问题变为了：
$$\begin{gathered} \underset{w,{\xi }_i,\rho }{\min }\frac{1}{2}\Vert w{\Vert }^2+\frac{1}{\nu n}\sum _{i=1}^n{\xi }_i-\rho \\ \text{subject to:} \\ (w\cdot \varphi (x_i))\ge \rho -{\xi }_i\text{for all}i=1,..,n \\ {\xi }_i\ge 0\text{for all}i=1,...,n \end{gathered}$$
在原始的SVM计算过程中，$C$负责控制平滑度，而在上述公式中，由$\nu$来负责这个工作：

• 控制了异常点的比例上限（训练数据中）
• 同时还是训练数据中作为支持向量的数据量的下届

因此这种方法也被称为$\nu -\text{SVM}$，不过我在很多论文中，看到他被称为OCSVM。在使用拉格朗四算子来解决这个问题的时候，得到的决策函数如下：
$$f(x)=\text{sgn}((w\cdot \varphi (x_i))-\rho )=\text{sng}(\sum _{i=1}^n{\alpha }_{i}K(x,x_i)-\rho )$$
还是那句话，这种方法是找到一个超平面，而这个超平面拥有着与原始空间中原点最远的距离。通过控制$\nu$来调整异常点的比例。之前的时候，做实验的时候也调整过这部分内容，这个参数并不是那么容易调整。

1.2.2 SVDD

另一种一类SVM的方法是创建一个能够包围全部数据的曲面，在三维空间中就是一个超球体，该方法全称叫做Support Vector Data Description(SVDD)，通过获取一个能够环绕数据的球形边界，最终训练目标是最小化这个超球体的体积，从而减少异常点被包围在内的数量。
那么，用数学原理来描述，就是要找到一个超球体，这个超球体通过两个参数控制：中心位置$\text{a}$和半径$R$，这个半径就是中心到在边界上支持向量的距离。类似前面原始的SVM，该方法通过所有的数据点到达中心的距离都小于$R$，为了实现软边界分类，通过变量${\xi }_i$和惩罚因子$C$来控制。此时最小化的问题为：
$$\begin{gathered} \underset{R,\text{a}}{\min }{R}^2+C\sum _{i=1}^n{\xi }_i \\ \text{subject to:} \\ \Vert x_i-\text{a}{\Vert }^2\le R^2+{\xi }_i\text{for all}i=1,...,n \\ {\xi }_i\ge 0\text{for all}i=1,...,n \end{gathered}$$
当利用拉格朗日算子解决上述问题之后，新的数据点$z$将通过是否小于等于半径来实现，通过高斯核来作为距离函数，那么决策函数如下：
$$\Vert z-\text{x}{\Vert }^2=\sum _{i=1}^n{\alpha }_i\exp \left(\frac{-\Vert z-x_i{\Vert }^2}{{\sigma }^2}\right)\ge -\frac{R^2}{2}+C_R$$
在之前的论文还是某些文章中看到过，当使用高斯核的时候，SVDD和OCSVM是等价的，但是这个需要再权威的书籍确认下。

1.2.3 小节

在文章[1]的后面，就是利用matlab进行编程了，由于对matlab并不熟悉，这里不再展开。从这里基本上已经明白了大致的原理。不过，因为OCSVM在sklearn中是直接存在的，但SVDD并没有，可能需要别的库来实现。
不过，还是要说，这里仅仅是记录了公式，也没有展开分析，后续还是要找一些相关文章，看看他们推导的过程，不需要记住，但是知道有这样一个过程也足够了。

2. 基于一类SVM的异常点检测方法（从非均衡样本切入）

该部分主要参考文章[2]，这篇文章的视角并不是从数学原理上来介绍，算是一篇实践的文章；而且他切入问题的视角，是为了解决样本分布不均衡问题。这篇文章好的原因，是因为他把样本不均衡的问题进行了大致的解释，而且逐步通过多种方法实现了对比，这样的学习路径就更轻松，也更容易让人接收。

2.1 样本不均衡问题

样本不均衡问题很常见，最直观的例子就是异常检测，一般正常的数据比较读，而异常数据相对来说比较少。假设两种数据都有了标签，那么就可以通过传统的监督方法来实现分类，但是这种方式非常容易造成一个假象，那就是分类器的性能非常好；这种假象就是因为某个类别的数量特别多造成的，而他自己因为数量优势把整体的性能硬性提高了，实际上数量比较少的类别可能直接全军覆没了。（这仅仅是直观感受，还是要通过实际的数据来查看，但大致上是这么个原理。）特别是当这个不均衡比例非常大的时候，这种情况就更明显了。
一般来说， 处理这种样本不均衡的问题，通常有三种手段：

• 为类别设置权值，数量小的类别权值大（权值体现在误分类导致的损失大小）
• 通过降采样或者升采样的手段重新均衡数据集
• 利用异常检测的算法

2.2 前两种方法的效果

文章[2]是通过一个金融数据来进行检测，其中包括五个特征，一个标签标识是否为异常，其中异常的数据占比大概为2%左右，非常不均衡的数据。那么先来训练一个罗切斯特回归的模型，来看看他的AUC效果。

看起来好像挺好，但是实际上，可以查看他的混淆矩阵，如下图。

仅仅由28%的异常数据被准确识别，这样的小姑是无法接受的。

2.2.1 类别加权值

clf = LogisticRegression(class_weight={0:1,1:5})

通过调整这个数值比例，能够出现这个异常类别识别效果提升的过程。但当提升到一定程度的时候，发现这种方法最然提高了异常类别的识别履，但是最终也导致正常的识别性能下降。

2.2.2 均衡数据集

from imblearn.under_sampling import RandomUnderSampler 
rus = RandomUnderSampler() 
X_resampled, y_resampled = rus.fit_sample(X_train, y_train) 
clf = LogisticRegression() 
clf.fit(X_resampled, y_resampled)

通过一个专门的库来进行降采样和升采样的操作。需要注意的是，一定要再分开数据集之后再进行这个操作。但是实际上这种操作并不能缓解这个数据的问题。本质上是因为，这种操作在导致这个数据发生了重叠。

所以说，并不是这个方法不对，而是并不适合这个数据集。文章给出了解释说，只有两个类被之间存在着明显的平面划分时才会有效果。

2.3 一类学习SVM

为了使用OCSVM，文章首先查看了两两组合的数据分布图，如下：

在上图中的第五个图中，两种颜色的点都混合在了一起，文章给出解释，说这样的特征就不具备一定的预测性；但是我比较持怀疑态度，虽然从他们两个组合在一起呈现出来混合的状态，但是这两个特征和其他特征一起看的时候，还是有效果的，所以我不是很赞同他的说法。但还是看他的效果怎么样。一类学习的模型仅仅需要一个类别的数据，那么这里使用正常数据来训练，而且结合前面说的特征不行的问题，这里将这两个特征去掉，代码如下：

from sklearn.svm import OneClassSVM 
train, test = train_test_split(data, test_size=.2) 
train_normal = train[train['y']==0] 
train_outliers = train[train['y']==1] 
outlier_prop = len(train_outliers) / len(train_normal) 
svm = OneClassSVM(kernel='rbf', nu=outlier_prop, gamma=0.000001) svm.fit(train_normal[['x1','x4','x5']])

这里调整的参数是nu，也就是前面公式的$\nu$，直接设置为了整体训练数据的这个异常比例，其实我感觉这样设置是不对的，因为实际上，训练过程的数据中，并没有异常的内容，这里持怀疑态度。

#绘制原始异常数据
x = test['x1'] 
y = test['x4'] 
plt.scatter(x, y, alpha=0.7, c=test['y']) 
plt.xlabel('x1') 
plt.ylabel('x4')

#绘制预测效果数据
x = test['x1'] 
y = test['x4'] 
y_pred = svm.predict(test[['x1','x4','x5']]) 
colors = np.array(['#377eb8', '#ff7f00']) 
plt.scatter(x, y, alpha=0.7, c=colors[(y_pred + 1) // 2]) plt.xlabel('x1') 
plt.ylabel('x4')

最后通过调整gamma的数值，最后为0.000001的时候，效果最好。

混淆矩阵如下：

这个预测效果就比其他的方法好很多了；但是实际上前面也提到了他这里的使用，算是说明了一类SVM的使用方法，但也存在一些问题，就是前面提到的那些坑。

• 特征选择过程
• 训练过程的nu设置，实际上，我觉得应该设置为非常小才比较有道理把，就是我允许我正常数据中也存在一些偏离点，应该是这部分数据的偏离点把。当然，这里也可能是我自己对OCSVM部分的数学原理不清晰，还是要弄清楚，毕竟这是一类学习。

3.小节

本篇文章学习了国外的两篇博客，分别通过数学原理和实际实践的角度看到了一类SVM的效果。

参考

[1]Introduction to One-class Support Vector Machines
[2]Outlier Detection with One-Class SVMs