支持向量机利用核函数实现简单的非线性分类

        在之前的博客中介绍过支持向量机产生的意义，将本不能线性划分的样本变换到一个更高维的空间，从而实现让其线性可分，下面简单介绍一下使用高斯核函数解决“异或问题”。

在之前曾提及，异或问题类似于下面的这张图片。

在二维空间中显然无法将其线性可分，所以本文采用高斯核函数实现这个问题的解决。实现的程序如下：

import numpy as np
from sklearn import svm
import matplotlib.pyplot as plt
xx, yy = np.meshgrid(np.linspace(1, 4, 2), np.linspace(1, 4, 2))
X_train = np.array([[2, 1], [1, 2], [1, 1], [2, 2]])
Y_train = np.array([1, 1, -1, -1])
# 训练模型
clf = svm.SVC(gamma="auto")#使用高斯核函数
clf.fit(X_train, Y_train)
# 测试模型
X_test = np.c_[xx.ravel(), yy.ravel()]
Y_test = clf.predict(X_test)
Z = clf.decision_function(X_test)
Z = Z.reshape(xx.shape)
Y_test = Y_test.reshape(xx.shape)
# 绘图
contours = plt.contour(xx, yy, Z, levels=[0], linewidths=2, linestyles="dashed")
plt.scatter(X_test[:, 0], X_test[:, 1], s=30, c=Y_test, cmap=plt.cm.Paired, edgecolors="k")
plt.xticks(())
plt.yticks(())
plt.axis([0, 5, 0, 5])
plt.show()

实现的效果图如下：

颜色的不同代表了向量机将其划分成了两类，虚线代表将其的大致区分，由于样本数量太少，使得这个虚线(等高线)没有闭合，样本数量如果足够多的话，这个虚线会将两种类别的数据大致分开。

        如果读者对contour函数中的xx,yy(我上面的程序里面的参数)，知道其具体作用的话，希望读者也可以留言解答哦，我就在这里抛砖引玉了。