机器学习算法:支持向量机

  支持向量机(Support Vector Machines, SVM)是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个凸二次规划的问题，也等价于正则化的合叶损失函数最小化的问题。支持向量机分为以下三类：

• 线性可分支持向量机：又称为硬间隔支持向量机。当训练数据线性可分时，通过硬间隔最大化学习的线性分类器；
• 线性支持向量机：又称为软间隔支持向量机。当训练数据近似线性可分时，通过软间隔最大化学习的线性分类器；
• 非线性支持向量机：当训练数线性不可分时，通过核技巧及软间隔最大化学习的非线性支持向量机；

  简单模型是复杂模型的基础，也是复杂模型的基础。下面先从线性可分支持向量机开始介绍。

1 线性可分支持向量机

假设给定一个特征空间上的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),\dots,(x_{N},y_{N})\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}其中 x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , 2 , … , N x_{i}\in R^{n},y_{i} \in \{-1, +1\},i=1,2,\dots,N xi​∈Rn,yi​∈{−1,+1},i=1,2,…,N。当$y_i=+1$时，称$x_i$为正例，当$y_i=-1$时，称$x_i$为负例。$(x_i,y_i)$称为样本点。

1.1 函数间隔和几何间隔

• 函数间隔：对于给定的训练数据集$T$和超平面$(w,b)$。定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为：$${\hat{\gamma }}_i=y_i(w\bullet x_i+b)$$函数间隔能表示分类的正确性及确信度(一个点距离分类超平面的远近可以由$|w\bullet x+b|$来表示，该值还可以表示分类预测的确信程度。距离超平面越远，正确分类的可能性越高；而$wx+b$的符号与类标记$y$的符号是否一致能够表示分类是否正确)。
  而超平面$(w,b)$关于训练数据$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔的最小值。即$$\hat{\gamma }=\underset{i=1,2,\dots ,N}{\min }{\hat{\gamma }}_i$$
• 几何间隔：由于函数间隔会随着$w$和$b$的等比例缩放而发生变动，为了使间隔固定，引入几何间隔。点$(x_i,y_i)$与超平面$(w,b)$的几何间隔为：$${\gamma }_i=y_i(\frac{w\bullet x_i}{\Vert w\Vert }+\frac{b}{\Vert w\Vert })$$从而训练数据集与超平面$(w,b)$之间的几何间隔为：$$\gamma =\underset{i=1,2,\dots ,N}{\min }{\hat{\gamma }}_i$$

1.2 数据模型

  支持向量机学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。故线性可分支持向量机的目标函数为：$$\{\begin{array}{ll}\underset{w,b}{\max }& \gamma \\ s.t.& y_i(\frac{w\bullet x_i}{\Vert w\Vert }+\frac{b}{\Vert w\Vert })\ge \gamma ,i=1,2,\dots ,N\end{array}$$将上式中的几何间隔替换为函数间隔，则上式可以变换为:$$\{\begin{array}{ll}\underset{w,b}{\max }& \frac{\hat{\gamma }}{\Vert w\Vert }\\ s.t.& y_i(w\bullet x_i+b)\ge \hat{\gamma },i=1,2,\dots ,N\end{array}$$因为$\hat{\gamma }$的取值不影响最优化问题的解，且最小化的$\frac{1}{\Vert w\Vert }$等价于最大化的$\frac{1}{2}\Vert w{\Vert }^2$。所以当$\hat{\gamma }=1$,上式变换为：$$\{\begin{array}{ll}\underset{w,b}{\min }& \frac{1}{2}\Vert w{\Vert }^2\\ s.t.& y_i(w\bullet x_i+b)-1\ge 0,i=1,2,\dots ,N\end{array}$$这就是一个凸优化问题。为求解该式，需要利用拉个郎日对偶性，通过求解对偶问题来求解原始问题。首先构建拉格朗日函数。为此，对每一个不等式约束引进拉格朗日乘子${\alpha }_i\ge 0,i=1,2,\dots ,N$,定义拉格朗日函数:$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\bullet x_i+b)+\sum _{i=1}^N{\alpha }_i$$原问题的对偶问题是极大极小问题：$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$(1)先来求极小问题：$\underset{w,b}{\min }L(w,b,\alpha )$。此时对$w,b$求偏导数，可以得到：$$\{\begin{array}{l}w-{\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$$将上述两个式子带入$L(w,b,\alpha )$里，得到$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i\cdot x_j+\sum _{i=1}^N{\alpha }_i$$(2)再求$\underset{\alpha }{\min }L(w,b,\alpha )$对$\alpha$的极大，此时$$\{\begin{array}{ll}\underset{\alpha }{\max }& -\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i\cdot x_j+{\sum }_{i=1}^N{\alpha }_i\\ s.t& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0，i=1,2,\dots ,N\end{array}$$再将此公式从求极大值转换成求极小值，如下：$$\{\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-{\sum }_{i=1}^N{\alpha }_i\\ s.t& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\dots ,N\end{array}$$假设上述最优化问题的解为${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast })$,在$a_{\ast }$中比存在一个下标$j$，使$a_j^{\ast }>0$。此时最原始问题的解$w^{\ast },b^{\ast }$为：$$w^{\ast }=\sum _{i=1}^N{a}_i{y}_i{x}_i$$$$b^{\ast }=y_j-\sum _{i=1}^N{a}_i{y}_i(x_i\ast x_j)$$$w^{\ast },b^{\ast }$确定之后，支持向量机的超平面为：$$w^{\ast }\bullet x+b^{\ast }=0$$则决策函数为：$$f(x)=sign(w^{\ast }\bullet x+b^{\ast })$$

1.3 支持向量

  在线性可分的情况下，训练数据集的样本点与分离超平面距离最近的样本点的实例称为支持向量。支持向量是使约束条件(原始的目标函数中的约束条件)等号成立的点，也就是${\alpha }^{\ast }$中所有不为0的分量所对应的样本。
  在决定分离超平面时只有支持向量起作用，而其他实例点并不其作用。如果移除支持向量将改变所求的解；但是如果在间隔边界以外移除其他实例，则解是不会变的。支持向量的个数一般很少，所以支持向量机是由很少的“重要的”训练样本确定的。

2 线性支持向量机

2.1 目标公式及化简

  线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时不等式约束条件并不能都成立。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量$\ge 1$(软间隔最大化)。同时，对每个松弛变量引入一个代价。此时，支持向量机的目标函数为：$$\{\begin{array}{ll}\underset{w,b,\xi }{\min }& \frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i\\ s.t& y_i(w\ast x_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N\\ & {\xi }_i\ge 0,i=1,2,\dots ,N\end{array}$$其中$C>0$称为惩罚参数。$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。经过一系列变换后，其最终的目标表达式为：$$\{\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-{\sum }_{i=1}^N{\alpha }_i\\ s.t& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,N\end{array}$$此时$w^{\ast },b^{\ast }$的求解公式与线性可分支持向量机相同。
  在这种情况下，支持向量或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分的一侧。

2.2 合叶损失函数

  线性支持向量机学习还有另一种解释，就是最小化如下目标函数：$$\sum _{i=1}^N[1-y_i(w\bullet x_I+b){]}_{+}+\lambda \Vert w{\Vert }^2$$目标函数第一项$L(y(w\bullet x+b))=[1-y(w\bullet x+b){]}_{+}$为合页损失函数。下标$+$表示以下取正值的函数。 $$[z{]}_{+}=\{\begin{array}{ll}z,& z>0\\ 0,& z\le 0\end{array}$$

3 非线性支持向量机

3.1 核函数

  设$X$是输入空间，又$H$为特征空间。如果存在一个从$X$到$H$的映射:$$\varphi (x):X\to H$$使得对所有$x,z\in X$,函数$K(x,z)=\varphi (x)\bullet \varphi (z)$则称$K(x,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\bullet \varphi (z)$为$\varphi (x)$和$\varphi (z)$的内积。常用的核函数主要有以下几种：
(1) 多项式核函数：$$K(x,z)=(x\bullet z+1{)}^p$$
(2) 高斯核函数：$$K(x,z)=exp(-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2})$$

3.2 非线性支持向量机

  非线性问题通常不好求解，一般所采取的方法是进心一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。这就需要用到核函数了。
  在核函数$K(x,z)$给定的情况下，学习是隐式地在特征空间中进行的，不需要显示地定义特征空间和映射函数。此时，非线性支持向量机对应的最优化问题为：$$\{\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-{\sum }_{i=1}^N{\alpha }_i\\ s.t.& {\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,N\end{array}$$最终的决策函数为：$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$

4 实现

  Sklearn包中提供了支持向量机算法的类SVC和SVR，现以SVC为例对其主要参数进行说明。

• C: 正则化系数。必须大于0
• kernel:{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’}。
• degree: 当kernel='ploy’时可用。
• gamma:{‘scale’, ‘auto’} or float, default=’scale’。当kernel为‘rbf’, ‘poly’ 或‘sigmoid’时可用。
• coef0: 当kernel为‘poly’ 或 ‘sigmoid’时，可用。
• max_iter:最大迭代次数。

# 加入归一化对比是为了验证归一化会对SVM的结果产生影响
import pandas as pd
import numpy as np
from sklearn.datasets import make_classification
from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

X,y=make_classification(n_samples=500,n_features=3,n_redundant=0,
                        n_informative=2,random_state=0)
#归一化
X=StandardScaler().fit_transform(X)

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,
                                               random_state=0)
X_train_new=X_train.copy()
X_train_new[:,1]=X_train_new[:,1]*5+1000
X_test_new=X_test.copy()
X_test_new[:,1]=X_test_new[:,1]*5+1000

svc=SVC()
svc.fit(X_train,y_train)
y_pred_test=svc.predict(X_test)
y_pred_train=svc.predict(X_train)

svc.fit(X_train_new,y_train)
y_pred_test_1=svc.predict(X_test_new)
y_pred_train_1=svc.predict(X_train_new)

#归一化前的准确率
train_acc=accuracy_score(y_train, y_pred_train_1)
test_acc=accuracy_score(y_test,y_pred_test_1)
print("归一化前训练集的准确率为:{:.3f},测试集的准确率为:{:.3f}"\
      .format(train_acc,test_acc))

#归一化前的准确率
train_acc=accuracy_score(y_train, y_pred_train)
test_acc=accuracy_score(y_test,y_pred_test)
print("归一化后训练集的准确率为:{:.3f},测试集的准确率为:{:.3f}"\
      .format(train_acc,test_acc))

实验结果如下：

归一化前训练集的准确率为:0.512,测试集的准确率为:0.460
归一化后训练集的准确率为:0.895,测试集的准确率为:0.780

参考资料

1. 《统计学习方法》