机器学习之支持向量机(SVM)实战

支持向量机

支持向量机(support vector machine)，一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最 大化，最终可转化为一个凸二次规划问题的求解。最初SVM被用来解决线性分类问题，但自从90年代中加入了核方法后，它也可以有效解决非线性问题，其优点是能适应“小样本数量，高特征维度”的数据集，即使是特征维度数高于训练样本数据的情况。
下面我们来了解几个SVM的概念：

1超平面

所谓的超平面在一维空间就是一个点，二维空间是一条线，三维空间是一个平面，在更高维空间中只能被称为超平面了。在普通线性可分问题中，符合分类要求的超平面会有无穷个。那怎么找到最优超平面呢？SVM选择最优超平面的依据一般有两条：
1.无法找到其他绘制方法使得两条虚线之间的距离更大。
2.最优超平面到与两种类型距其最近点有相等距离。
综合起来就是使得与超平面距离最小的数据点的距离最大化。线段$x_q$被称为超平面的间隔(Margin)。

2.软间隔(Soft Margin)

在很多情况下，训练集中会有噪声数据，或者问题本身带有不确定性，这时坚持使用最优超平面策略会产生过度拟合的问题。SVM中的软间隔的概念就是解决这类问题，它允许计算超平面是训练数据集上存在错误数据，防止出现过度拟合。从而寻找最优超平面就变成了下面两条权衡：1.要尽可能正确地分类训练集。2.间隔(Margin)要尽可能大。
SVM模型中提供了松弛因子超参数C控制间隔。当C参数较大时，超平面趋向于严格分类训练数据，当C参数较小时，趋向于容忍更多训练数据分类错误而是间隔更大。

3.线性不可分问题and核函数

线性不可分问题就如左边的数据，无论如何都找不到一个二维超平面能较好分割两类数据。那应该如何找最优超平面呢？通常我们在使用模型训练数据时，都会对数据进行降维处理，但面对这样的数据，我们是否可以不降维，反而增加维度呢，其实时可以的，而且也是SVM的优点，它能适应“小样本数量，高特征维度”的数据集，即使是特征维度数高于训练样本数据的情况。我们将左边的二维数据增加维度后变成了右边的三维数据后，可以发现很容易就能分类数据了。因此也可以这样想象：任何有限维度的非线性问题在更高的维度的空间里总可以变化成线性可分问题。那SVM又是如何升维呢？SVM是使用拉格朗日乘子法实现求解问题升维的。通过拉格朗日乘子法最后将求得超平面参数w的目标转化为用高维中数据点向量两两点积值求解的二次规划问题。（二次规划问题是指一种有约束情况下的求极值问题）这也意味这SVM无需真的将所有数据映射到高维空间，而只需要知道这些数据在高维空间里两两之间的点积就可以了。而这时，核函数就派上用场了。核函数其实就是一种输入两个低维空间向量，返回高维空间点积的函数。我们在使用SVM训练数据时，可以直接就使用一些常用的核函数，也可以自己定义一些核函数。下面我们实践一些常用的核函数。

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.svm import LinearSVR
from sklearn.svm import SVR

# 导入数据集
boston = load_boston()
data = boston.data
target = boston.target
# 数据预处理
train_data, test_data, train_target, test_target = train_test_split(data, target, test_size=0.3)
Stand_X = StandardScaler()  # 特征进行标准化
Stand_Y = StandardScaler()  # 标签也是数值，也需要进行标准化
train_data = Stand_X.fit_transform(train_data)
test_data = Stand_X.transform(test_data)
train_target = Stand_Y.fit_transform(train_target.reshape(-1, 1))  # reshape(-1,1)指将它转化为1列，行自动确定
test_target = Stand_Y.transform(test_target.reshape(-1, 1))
#  线性核函数
clf = LinearSVR(C=2)
clf.fit(train_data, train_target)
print("线性核函数：")
print("测试集评分：", clf.score(train_data, train_target))
print("测试数据到超平面的距离(返回前五个)", clf._decision_function(test_data)[:5])
#  高斯核函数
clf = SVR(kernel='rbf', C=10, gamma=0.1, coef0=0.1)
clf.fit(train_data, train_target)
print("高斯核函数：")
print("测试集评分：", clf.score(test_data, test_target))
print("测试数据到超平面的距离(返回前五个)", clf._decision_function(test_data)[:5])
#  sigmoid核函数
clf = SVR(kernel='sigmoid', C=2)
clf.fit(train_data, train_target)
print("sigmoid核函数：")
print("测试集评分：", clf.score(test_data, test_target))
print("测试数据到超平面的距离(返回前五个)", clf._decision_function(test_data)[:5])
#  多项式核函数
clf = SVR(kernel='poly', C=2)
clf.fit(train_data, train_target)
print("多项式核函数：")
print("测试集评分：", clf.score(test_data, test_target))
print("测试数据到超平面的距离(返回前五个)", clf._decision_function(test_data)[:5])

从训练结果可以看出，高斯核函数在这个数据集上的得分是最高的，代码decision_function()函数是返回输入数据集于模型超平面之间的距离，用正负关系表示在超平面哪一侧。下面总结下SVM模型的一些参数。

参数	解释
c	松弛因子，取值范围在0到正无穷。
kernel	核函数的类型，可取线性核函数‘linear’，‘poly’多项式核函数等
degree	多项式核函数的维度参数
gamma	‘poly’,‘rbf’,'sigmoid’三种核函数的超参数