监督学习(九)——核支持向量机SVM

1、线性模型与非线性特征

线性空间在低维空间中非常受限，这是因为线和平面的灵活性很受限。

import mglearn
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
from sklearn.svm import LinearSVC

X, y = make_blobs(centers=4, random_state=8)
y = y % 2
linear_svm = LinearSVC().fit(X, y)
mglearn.plots.plot_2d_separator(linear_svm, X)
mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()

Figure_2.png

通过上面的图，我们就能看到分类的线性模型，在通过一条直线来划分数据点，而对这个数据集却无法给出较好的结果。

现在我们对输入特征进行扩展，比如说添加第二个特征的平方(feature1 ** 2)作为一个新特征。现在我们将每个数据点表示为三维点(feature0, feature1, feature1 ** 2)，而不是二维点 (feature0, feature1)。这个新的表示可以画成三维散点图:

import mglearn
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
from sklearn.svm import LinearSVC
from mpl_toolkits.mplot3d import Axes3D, axes3d
import numpy as np

X, y = make_blobs(centers=4, random_state=8)
y = y % 2
# 添加第二个特征的平方，作为一个新特征
X_new = np.hstack([X, X[:, 1:] ** 2])
figure = plt.figure()
# 3D可视化
ax = Axes3D(figure, elev=-152, azim=-26)
# 首先画出所有y == 0的点，然后画出所有y == 1的点
mask = y == 0
ax.scatter(X_new[mask, 0], X_new[mask, 1], X_new[mask, 2], c='b',
cmap=mglearn.cm2, s=60)
ax.scatter(X_new[~mask, 0], X_new[~mask, 1], X_new[~mask, 2], c='r', marker='^',
               cmap=mglearn.cm2, s=60)
ax.set_xlabel("feature0")
ax.set_ylabel("feature1")
ax.set_zlabel("feature1 ** 2")
plt.show()

对数据集进行扩展，新增由 feature1 导出的的第三个特征

在数据的新表示中，用线性模型(三维空间中的平面)将这两个类别分开。

X, y = make_blobs(centers=4, random_state=8)
y = y % 2
# 添加第二个特征的平方，作为一个新特征
X_new = np.hstack([X, X[:, 1:] ** 2])
linear_svm_3d = LinearSVC().fit(X_new, y)
coef, intercept = linear_svm_3d.coef_.ravel(), linear_svm_3d.intercept_
# 显示线性决策边界
figure = plt.figure()
ax = Axes3D(figure, elev=-152, azim=-26)
mask = y == 0
xx = np.linspace(X_new[:, 0].min() - 2, X_new[:, 0].max() + 2, 50)
yy = np.linspace(X_new[:, 1].min() - 2, X_new[:, 1].max() + 2, 50)
XX, YY = np.meshgrid(xx, yy)
ZZ = (coef[0] * XX + coef[1] * YY + intercept) / -coef[2]
ax.plot_surface(XX, YY, ZZ, rstride=8, cstride=8, alpha=0.3)
ax.scatter(X_new[mask, 0], X_new[mask, 1], X_new[mask, 2], c='b',
            cmap=mglearn.cm2, s=60)
ax.scatter(X_new[~mask, 0], X_new[~mask, 1], X_new[~mask, 2], c='r', marker='^',
            cmap=mglearn.cm2, s=60)
ax.set_xlabel("feature0")
ax.set_ylabel("feature1")
ax.set_zlabel("feature1 ** 2")
plt.show()

线性 SVM 对扩展后的三维数据集给出的决策边界

扩展后，数据的决策边界变成了一个平面。但是如果考虑原始特征的，通过SVM模型来看原始特征的函数，实际上已经不是线性的，而是一个椭圆。

ZZ = YY ** 2
dec = linear_svm_3d.decision_function(np.c_[XX.ravel(), YY.ravel(), ZZ.ravel()])
plt.contourf(XX, YY, dec.reshape(XX.shape), levels=[dec.min(), 0, dec.max()],
                  cmap=mglearn.cm2, alpha=0.5)
mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()

将图SVM的决策边界作为两个原始特征的函数

2、核技巧

向数据表示中添加非线性特征，可以让线性模型变得更强大。但是， 通常我们不知道要添加哪些特征，而且添加许多特征的计算开销可能会很大。幸运的是，有一种巧妙的数学技巧，叫作核技巧，它的原理是直接计算扩展特征表示中数据点之间的距离(更准确地说是内积)，而不用实际对扩展进行计算。
对于支持向量机，将数据映射到更高维空间中有两种常用的方法:
一种是多项式核，在一 定阶数内计算原始特征所有可能的多项式(比如feature1 ** 2 * feature2 ** 5);
另一 种是径向基函数(radial basis function，RBF)核，也叫高斯核。

3、理解SVM

在训练过程中，SVM 学习每个训练数据点对于表示两个类别之间的决策边界的重要性。
通常只有一部分训练数据点对于定义决策边界来说很重要: 位于类别之间边界上的那些点。 这些点叫作支持向量，支持向量机正是由此得名。
想要对新样本点进行预测，需要测量它与每个支持向量之间的距离。分类决策是基于它与支持向量之间的距离以及在训练过程中学到的支持向量重要性来做出的。

from sklearn.svm import SVC
X, y = mglearn.tools.make_handcrafted_dataset()
svm = SVC(kernel='rbf', C=10, gamma=0.1).fit(X, y)
mglearn.plots.plot_2d_separator(svm, X, eps=.5)
mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
# 画出支持向量
sv = svm.support_vectors_
# 支持向量的类别标签由dual_coef_的正负号给出
sv_labels = svm.dual_coef_.ravel() > 0
mglearn.discrete_scatter(sv[:, 0], sv[:, 1], sv_labels, s=15, markeredgewidth=3)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()

RBF 核 SVM 给出的决策边界和支持向量

图中，SVM 给出了非常平滑且非线性的边界。

4、SVM调参

需要调节两个参数：C 参数和 gamma 参数。
gamma 参数用于控制高斯核的宽度。它决定了点与点之间 “靠近”是指多大的距离。C 参数是正则化参数，与线性模型中用到的类似。它限制每个点
的重要性(或者更确切地说，每个点的 dual_coef_)。

fig, axes = plt.subplots(3, 3, figsize=(15, 10))
for ax, C in zip(axes, [-1, 0, 3]):
    for a, gamma in zip(ax, range(-1, 2)):
        mglearn.plots.plot_svm(log_C=C, log_gamma=gamma, ax=a)
axes[0, 0].legend(["class 0", "class 1", "sv class 0", "sv class 1"],
        ncol=4, loc=(.9, 1.2))
plt.show()

Figure_6.png

从左到右，我们将参数 gamma 的值从 0.1 增加到 10。gamma 较小，说明高斯核的半径较大，许多点都被看作比较靠近。这一点可以在图中看出: 左侧的图决策边界非常平滑，越向右 的图决策边界更关注单个点。小的 gamma 值表示决策边界变化很慢，生成的是复杂度较低 的模型，而大的 gamma 值则会生成更为复杂的模型。
从上到下，我们将参数 C 的值从 0.1 增加到 1000。与线性模型相同，C 值很小，说明模型 非常受限，每个数据点的影响范围都有限。你可以看到，左上角的图中，决策边界看起来 几乎是线性的，误分类的点对边界几乎没有任何影响。再看左下角的图，增大 C 之后这些 点对模型的影响变大，使得决策边界发生弯曲来将这些点正确分类。

5、为SVM预处理数据

SVM模型在训练集上的分数十分完美，但在测试集上的精度却很低，这就导致存在相当严重的过拟合。虽然 SVM 的表现通常都很好，但它对参数的设定和数据的缩放非常敏感。特别地， 它要求所有特征有相似的变化范围。
为了解决这个问题，通常的一种方法就是对每个特征进行缩放，使其大致都位于同一范围。核 SVM 常用的缩放方法就是将所有特征缩放到 0 和 1 之间。
数据缩放的作用很大，但是实际上，也会导致模型出现处于欠拟合的状态，即训练集和测试集的性能非常接近，但还没有接近 100% 的精度。此时，我们可以尝试增大 C 或 gamma 来拟合 更为复杂的模型。

6、优点、缺点和参数

核支持向量机是非常强大的模型，在各种数据集上的表现都很好。SVM 允许决策边界很复杂，即使数据只有几个特征。它在低维数据和高维数据(即很少特征和很多特征)上的表现都很好，但对样本个数的缩放表现不好。在有多达 10000 个样本的数据上运行 SVM 可能表现良好，但如果数据量达到 100000 甚至更大，在运行时间和内存使用方面可能会面临挑战。
SVM 的另一个缺点是，预处理数据和调参都需要非常小心。这也是为什么如今很多应用 中用的都是基于树的模型，比如随机森林或梯度提升。此外，SVM 模型很难检查。
核 SVM 的重要参数是正则化参数 C、核的选择以及与核相关的参数。虽然我们主要讲的是** RBF 核**，但 scikit-learn 中还有其他选择。RBF 核只有一个参数 gamma，它是高斯核宽度的倒数。gamma 和 C 控制的都是模型复杂度，较大的值都对应更为复杂的模型。因此，这两个参数的设定通常是强烈相关的，应该同时调节。