使用支持向量机（SVM）对数据分类

支持向量机背后的数学原理有些复杂，在此我不打算详细阐述，这里简单粗暴地使用一下SVM。我下面的Python代码使用的SVM需要安装一些Python库：scipy和numpy。如果自己想动手实验一下请注意安装。

首先加载一些数据，并plot出来：

import numpy as np
from matplotlib import pyplot
def plotData(X,y):
    pos=np.where(y==1)
    neg=np.where(y==0)

    pyplot.plot(X[pos,0],X[pos,1],'b+')
    pyplot.plot(X[neg,0],X[neg,1],'yo')

print 'load and plot data'
import scipy.io
mat=scipy.io.loadmat('ex6data1.mat')
X,y=mat['X'],mat['y']
plotData(X,y)
pyplot.show(block=True)

程序中使用的数据集'ex6data1.mat'请 到这下载。运行上面Python脚本效果如下图：

观察数据我们发现，使用一条直线就可以把数据分类。所以我们使用线性分类（linear_svm).

svm中用一个重要参数C,先取C=1，训练出一个SVM：

# linear SVM with C=1
from sklearn import svm
linear_svm=svm.SVC(C=1,kernel='linear')
linear_svm.fit(X,y)
plotData(X,y)
visualizeBoundary(X,linear_svm)
pyplot.show(block=True)

‘linear_svm'就是训练出的SVM。使用这个linear_svm画出一条分类线：

def visualizeBoundary(X, trained_svm):
    kernel = trained_svm.get_params()['kernel']
    if kernel == 'linear':
        w = trained_svm.dual_coef_.dot(trained_svm.support_vectors_).flatten()
        xp = np.linspace(min(X[:, 0]), max(X[:, 0]), 100)
        yp = (-w[0] * xp + trained_svm.intercept_) / w[1]
        pyplot.plot(xp, yp, 'b-')


    elif kernel == 'rbf':
        x1plot = np.linspace(min(X[:, 0]), max(X[:, 0]), 100)
        x2plot = np.linspace(min(X[:, 1]), max(X[:, 1]), 100)

        X1, X2 = np.meshgrid(x1plot, x2plot)
        vals = np.zeros(np.shape(X1))

        for i in range(0, np.shape(X1)[1]):
            this_X = np.c_[X1[:, i], X2[:, i]]
            vals[:, i] = trained_svm.predict(this_X)

        pyplot.contour(X1, X2, vals, colors='blue')

效果：

刚才我们提到了重要参数C=1，它的作用就是调节SVM对数据的拟合程度。C值越大，SVM对数据集拟合越好，可能会过度拟合（不好）。

现在我们去C=100，试试看：

# linear svm with C=100
linear_svm.set_params(C=100)
linear_svm.fit(X,y)
plotData(X,y)
visualizeBoundary(X,linear_svm)
pyplot.show(block=True)

效果：

》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》

有些数据不能线性分类比如下面：

# load and plot data2
mat=scipy.io.loadmat('ex6data2.mat')
X,y=mat['X'],mat['y']

plotData(X,y)
pyplot.show(block=True)

代码中’ex6data2.mat'在 这里下载。plot出来效果如下：

在此使用高斯核函数(gaussian function)训练SVM：

# svm with gaussian kernels
def gaussianKernel(x1,x2,sigma):
    return np.exp(-np.sum((x1-x2)**2)/(2*sigma**2))


# test gaussianKernel
x1=np.array([1,2,1])
x2=np.array([0,4,-1])
sigma=2
print 'gaussian kernel:%f' % gaussianKernel(x1,x2,sigma)

# load and plot data2
mat=scipy.io.loadmat('ex6data2.mat')
X,y=mat['X'],mat['y']

plotData(X,y)
pyplot.show(block=True)

sigma=0.01
rbf_svm=svm.SVC(C=1,kernel='rbf',gamma=1/sigma)
rbf_svm.fit(X,y)

plotData(X,y)
visualizeBoundary(X,rbf_svm)
pyplot.show(block=True)

效果：