20201102 -
0. 引言
我记得我第一次接触一类学习的时候,是在一本讲解异常流量的书上。大概18年的时候,当时有一个需求,就是所处的场景下,只能拥有一类数据,而其他类的数据,要不获取不到,要不获取了也不具备什么代表性,总体上就是这么一个场景。由此接触到了一类学习,而一类学习中,比较著名的就是基于SVM的解决方法,关于SVM的讲解,可以看博客中另外一篇文章《支持向量机SVM的学习》,那么本篇文章就来具体讲讲一类SVM是一个什么套路。
本篇文章主要参考了两篇国外的博客来进行学习,分别是数学原理角度和代码角度,而且第二篇文章是从一类学习应对非均衡数据样本的情况的角度,下面开始。
1. 一类SVM原理简单介绍
该部分主要参考文章[1],强烈建议读者阅读原文,跟着原作者的思路来学习。
1.1 一类SVM的应用场景
一般来说,普通机器学习的方法都是针对二分类或者多分类,通过不同的模型,依赖于不同的方法,寻找类别之间的分界面,从而实现最终的分类效果。但是有时候,你只拥有一类数据,或者说其他类别的数据非常少(异常检测场景,或者说样本不均衡场景),此时如何来应对呢?当然非均衡样本数据场景下还有别的解决方案,那么针对只有一类数据的场景,怎么办,正如前面引言中所说,此时可以使用一类学习的方法。
需要注意的是,一类学习是指训练过程中,只有一类数据,通过算法寻求出可以代表这部分数据的模型,从而在检测过程中,输出数据样本是否属于该类别。
1.2 一类SVM的实现方法
在文章[1]中,要具体学习一类SVM的话,需要SVM的知识,特别是目标函数最终的结果等内容。这里再简单记录一下。下面的公式是带有核函数的软边界SVM:
min
w
,
b
,
ξ
i
∥
w
∥
2
2
+
C
∑
i
=
1
n
ξ
i
subject to:
y
i
(
w
T
ϕ
(
x
i
)
+
b
)
≥
1
−
ξ
i
for all
i
=
1
,
.
.
.
,
n
ϕ
i
≥
0
for all
i
=
1
,
.
.
.
,
n
\mathop{\text {min}}\limits_{w,b,\xi_i} \frac{\|w\|^2}{2}+C\sum_{i=1}^{n}\xi_i \\ \text {subject to:} \\ y_i(w^T\phi(x_i)+b)\geq1-\xi_i\qquad \text{for all} \quad i=1,...,n \\ \phi_i\geq0 \qquad\text{for all} \quad i= 1,...,n
w,b,ξimin2∥w∥2+Ci=1∑nξisubject to:yi(wTϕ(xi)+b)≥1−ξifor alli=1,...,nϕi≥0for alli=1,...,n
通过拉格朗日算子来解决这个最小化问题,最终的决策函数为
f
(
x
)
=
sgn
(
∑
i
=
1
n
α
i
y
i
K
(
x
,
x
i
)
+
b
)
f(x)=\text{sgn}(\sum_{i=1}^{n}\alpha_i y_iK(x,x_i)+b)
f(x)=sgn(i=1∑nαiyiK(x,xi)+b)
1.2.1 OSSVM( ν − SVM \nu-\text{SVM} ν−SVM)
第一种一类SVM的实现方法,通过将数据与原始空间的原点进行分开,同时最大化生成的超平面和原点的距离。此时的二次编程最小化问题变为了:
min
w
,
ξ
i
,
ρ
1
2
∥
w
∥
2
+
1
ν
n
∑
i
=
1
n
ξ
i
−
ρ
subject to:
(
w
⋅
ϕ
(
x
i
)
)
≥
ρ
−
ξ
i
for all
i
=
1
,
.
.
,
n
ξ
i
≥
0
for all
i
=
1
,
.
.
.
,
n
\mathop{\text {min}}\limits_{w,\xi_i,\rho}\frac{1}{2}\|w\|^2+\frac{1}{\nu n}\sum_{i=1}^{n}\xi_i-\rho \\ \text {subject to:} \\ (w\cdot \phi(x_i))\geq\rho-\xi_i \qquad \text{for all}\quad i =1,..,n \\ \xi_i\geq 0 \qquad\text{for all}\quad i = 1,...,n
w,ξi,ρmin21∥w∥2+νn1i=1∑nξi−ρsubject to:(w⋅ϕ(xi))≥ρ−ξifor alli=1,..,nξi≥0for alli=1,...,n
在原始的SVM计算过程中,
C
C
C负责控制平滑度,而在上述公式中,由
ν
\nu
ν来负责这个工作:
- 控制了异常点的比例上限(训练数据中)
- 同时还是训练数据中作为支持向量的数据量的下届
因此这种方法也被称为
ν
−
SVM
\nu-\text{SVM}
ν−SVM,不过我在很多论文中,看到他被称为OCSVM。在使用拉格朗四算子来解决这个问题的时候,得到的决策函数如下:
f
(
x
)
=
sgn
(
(
w
⋅
ϕ
(
x
i
)
)
−
ρ
)
=
sng
(
∑
i
=
1
n
α
i
K
(
x
,
x
i
)
−
ρ
)
f(x)=\text {sgn}((w\cdot\phi(x_i)) - \rho)=\text {sng}(\sum_{i=1}^{n}\alpha_i K(x,x_i)-\rho)
f(x)=sgn((w⋅ϕ(xi))−ρ)=sng(i=1∑nαiK(x,xi)−ρ)
还是那句话,这种方法是找到一个超平面,而这个超平面拥有着与原始空间中原点最远的距离。通过控制
ν
\nu
ν来调整异常点的比例。之前的时候,做实验的时候也调整过这部分内容,这个参数并不是那么容易调整。
1.2.2 SVDD
另一种一类SVM的方法是创建一个能够包围全部数据的曲面,在三维空间中就是一个超球体,该方法全称叫做Support Vector Data Description(SVDD),通过获取一个能够环绕数据的球形边界,最终训练目标是最小化这个超球体的体积,从而减少异常点被包围在内的数量。
那么,用数学原理来描述,就是要找到一个超球体,这个超球体通过两个参数控制:中心位置
a
\textbf a
a和半径
R
R
R,这个半径就是中心到在边界上支持向量的距离。类似前面原始的SVM,该方法通过所有的数据点到达中心的距离都小于
R
R
R,为了实现软边界分类,通过变量
ξ
i
\xi_i
ξi和惩罚因子
C
C
C来控制。此时最小化的问题为:
m
i
n
R
,
a
R
2
+
C
∑
i
=
1
n
ξ
i
subject to:
∥
x
i
−
a
∥
2
≤
R
2
+
ξ
i
for all
i
=
1
,
.
.
.
,
n
ξ
i
≥
0
for all
i
=
1
,
.
.
.
,
n
\mathop {\text min}\limits_{R,\textbf a}R^2+C\sum_{i=1}^{n}\xi_i \\ \text {subject to:}\\ \|x_i-\text a\|^2\leq R^2+\xi_i \qquad \text {for all}\quad i = 1,...,n \\ \xi_i\geq0 \qquad \text {for all}\quad i = 1,...,n
R,aminR2+Ci=1∑nξisubject to:∥xi−a∥2≤R2+ξifor alli=1,...,nξi≥0for alli=1,...,n
当利用拉格朗日算子解决上述问题之后,新的数据点
z
z
z将通过是否小于等于半径来实现,通过高斯核来作为距离函数,那么决策函数如下:
∥
z
−
x
∥
2
=
∑
i
=
1
n
α
i
exp
(
−
∥
z
−
x
i
∥
2
σ
2
)
≥
−
R
2
2
+
C
R
\|z-\textbf x\|^2=\sum_{i=1}^{n}\alpha_i \exp\left(\frac{-\|z-x_i\|^2}{\sigma^2}\right)\geq-\frac{R^2}{2}+C_R
∥z−x∥2=i=1∑nαiexp(σ2−∥z−xi∥2)≥−2R2+CR
在之前的论文还是某些文章中看到过,当使用高斯核的时候,SVDD和OCSVM是等价的,但是这个需要再权威的书籍确认下。
1.2.3 小节
在文章[1]的后面,就是利用matlab进行编程了,由于对matlab并不熟悉,这里不再展开。从这里基本上已经明白了大致的原理。不过,因为OCSVM在sklearn中是直接存在的,但SVDD并没有,可能需要别的库来实现。
不过,还是要说,这里仅仅是记录了公式,也没有展开分析,后续还是要找一些相关文章,看看他们推导的过程,不需要记住,但是知道有这样一个过程也足够了。
2. 基于一类SVM的异常点检测方法(从非均衡样本切入)
该部分主要参考文章[2],这篇文章的视角并不是从数学原理上来介绍,算是一篇实践的文章;而且他切入问题的视角,是为了解决样本分布不均衡问题。这篇文章好的原因,是因为他把样本不均衡的问题进行了大致的解释,而且逐步通过多种方法实现了对比,这样的学习路径就更轻松,也更容易让人接收。
2.1 样本不均衡问题
样本不均衡问题很常见,最直观的例子就是异常检测,一般正常的数据比较读,而异常数据相对来说比较少。假设两种数据都有了标签,那么就可以通过传统的监督方法来实现分类,但是这种方式非常容易造成一个假象,那就是分类器的性能非常好;这种假象就是因为某个类别的数量特别多造成的,而他自己因为数量优势把整体的性能硬性提高了,实际上数量比较少的类别可能直接全军覆没了。(这仅仅是直观感受,还是要通过实际的数据来查看,但大致上是这么个原理。)特别是当这个不均衡比例非常大的时候,这种情况就更明显了。
一般来说, 处理这种样本不均衡的问题,通常有三种手段:
- 为类别设置权值,数量小的类别权值大(权值体现在误分类导致的损失大小)
- 通过降采样或者升采样的手段重新均衡数据集
- 利用异常检测的算法
2.2 前两种方法的效果
文章[2]是通过一个金融数据来进行检测,其中包括五个特征,一个标签标识是否为异常,其中异常的数据占比大概为2%左右,非常不均衡的数据。那么先来训练一个罗切斯特回归的模型,来看看他的AUC效果。
看起来好像挺好,但是实际上,可以查看他的混淆矩阵,如下图。
仅仅由28%的异常数据被准确识别,这样的小姑是无法接受的。
2.2.1 类别加权值
clf = LogisticRegression(class_weight={0:1,1:5})
通过调整这个数值比例,能够出现这个异常类别识别效果提升的过程。但当提升到一定程度的时候,发现这种方法最然提高了异常类别的识别履,但是最终也导致正常的识别性能下降。
2.2.2 均衡数据集
from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler()
X_resampled, y_resampled = rus.fit_sample(X_train, y_train)
clf = LogisticRegression()
clf.fit(X_resampled, y_resampled)
通过一个专门的库来进行降采样和升采样的操作。需要注意的是,一定要再分开数据集之后再进行这个操作。但是实际上这种操作并不能缓解这个数据的问题。本质上是因为,这种操作在导致这个数据发生了重叠。
所以说,并不是这个方法不对,而是并不适合这个数据集。文章给出了解释说,只有两个类被之间存在着明显的平面划分时才会有效果。
2.3 一类学习SVM
为了使用OCSVM,文章首先查看了两两组合的数据分布图,如下:
在上图中的第五个图中,两种颜色的点都混合在了一起,文章给出解释,说这样的特征就不具备一定的预测性;但是我比较持怀疑态度,虽然从他们两个组合在一起呈现出来混合的状态,但是这两个特征和其他特征一起看的时候,还是有效果的,所以我不是很赞同他的说法。但还是看他的效果怎么样。一类学习的模型仅仅需要一个类别的数据,那么这里使用正常数据来训练,而且结合前面说的特征不行的问题,这里将这两个特征去掉,代码如下:
from sklearn.svm import OneClassSVM
train, test = train_test_split(data, test_size=.2)
train_normal = train[train['y']==0]
train_outliers = train[train['y']==1]
outlier_prop = len(train_outliers) / len(train_normal)
svm = OneClassSVM(kernel='rbf', nu=outlier_prop, gamma=0.000001) svm.fit(train_normal[['x1','x4','x5']])
这里调整的参数是nu
,也就是前面公式的
ν
\nu
ν,直接设置为了整体训练数据的这个异常比例,其实我感觉这样设置是不对的,因为实际上,训练过程的数据中,并没有异常的内容,这里持怀疑态度。
#绘制原始异常数据
x = test['x1']
y = test['x4']
plt.scatter(x, y, alpha=0.7, c=test['y'])
plt.xlabel('x1')
plt.ylabel('x4')
#绘制预测效果数据
x = test['x1']
y = test['x4']
y_pred = svm.predict(test[['x1','x4','x5']])
colors = np.array(['#377eb8', '#ff7f00'])
plt.scatter(x, y, alpha=0.7, c=colors[(y_pred + 1) // 2]) plt.xlabel('x1')
plt.ylabel('x4')
最后通过调整gamma
的数值,最后为0.000001的时候,效果最好。
混淆矩阵如下:
这个预测效果就比其他的方法好很多了;但是实际上前面也提到了他这里的使用,算是说明了一类SVM的使用方法,但也存在一些问题,就是前面提到的那些坑。
- 特征选择过程
- 训练过程的nu设置,实际上,我觉得应该设置为非常小才比较有道理把,就是我允许我正常数据中也存在一些偏离点,应该是这部分数据的偏离点把。当然,这里也可能是我自己对OCSVM部分的数学原理不清晰,还是要弄清楚,毕竟这是一类学习。
3.小节
本篇文章学习了国外的两篇博客,分别通过数学原理和实际实践的角度看到了一类SVM的效果。
参考
[1]Introduction to One-class Support Vector Machines
[2]Outlier Detection with One-Class SVMs