机器学习17：SVM支持向量机

SVM支持向量机

原理

推导

这里省略一万字…

得出结论

线性不可分的情况

松弛变量与惩罚函数

SVM例子

非线性的情况

核函数

存在的问题

引入核函数

核函数举例

SVM优点

训练好的模型的算法复杂度是由支持向量的个数决定的，而不是由数据的维度决定的。所以SVM不太容易产生overfitting

SVM训练出来的模型完全依赖于支持向量(Support Vectors), 即使训练集里面所有非支持向量的点都被去除，重复训练过程，结果仍然会得到完全一样的模型。

一个SVM如果训练得出的支持向量个数比较小，SVM训练出的模型比较容易被泛化。

算法实现

SVM简单例子

from sklearn import svm
x = [[3, 3], [4, 3], [1, 1]]
y = [1, 1, -1]

model = svm.SVC(kernel='linear')
model.fit(x, y)
# 打印支持向量
print(model.support_vectors_)

[[1. 1.]
[3. 3.]]

# 第2和第0个点是支持向量
print(model.support_)

[2 0]

# 有几个支持向量
print(model.n_support_)

[1 1]

print(model.predict([[4,3]]))

[1]

model.coef_  #ax1+bx2+c=0 这里代表 a,b
model.intercept_  #这里代表c

array([[0.5, 0.5]])
array([-2.])

SVM线性分类

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
# 创建40个点
x_data = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
y_data = [0]*20 +[1]*20

plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()

#fit the model
model = svm.SVC(kernel='linear')  #使用线性核函数
model.fit(x_data, y_data)

# 获取分离平面 

plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
x_test = np.array([[-5],[5]])
d = -model.intercept_/model.coef_[0][1]
k = -model.coef_[0][0]/model.coef_[0][1]
y_test = d + k*x_test
plt.plot(x_test, y_test, 'k')
plt.show()

model.support_vectors_ #支持向量

array([[ 0.49747199, -0.4918566 ],
[-1.16533149, -0.57256527],
[ 0.6855425 , -0.74269529],
[ 0.99258763, 1.08767983]])

# 画出通过支持向量的分界线 第1个和最后一个是上下两个不同的支持向量
b1 = model.support_vectors_[0]   
y_down = k*x_test + (b1[1] - k*b1[0])
b2 = model.support_vectors_[-1]
y_up = k*x_test + (b2[1] - k*b2[0])

plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
x_test = np.array([[-5],[5]])
d = -model.intercept_/model.coef_[0][1]
k = -model.coef_[0][0]/model.coef_[0][1]
y_test = d + k*x_test
plt.plot(x_test, y_test, 'k')
plt.plot(x_test, y_down, 'r--')
plt.plot(x_test, y_up, 'b--')
plt.show()

SVM-非线性分类

import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import classification_report
from sklearn import svm
# 载入数据
data = np.genfromtxt("LR-testSet2.txt", delimiter=",")
x_data = data[:,:-1]
y_data = data[:,-1]
    
def plot():
    x0 = []
    x1 = []
    y0 = []
    y1 = []
    # 切分不同类别的数据
    for i in range(len(x_data)):
        if y_data[i]==0:
            x0.append(x_data[i,0])
            y0.append(x_data[i,1])
        else:
            x1.append(x_data[i,0])
            y1.append(x_data[i,1])

    # 画图
    scatter0 = plt.scatter(x0, y0, c='b', marker='o')
    scatter1 = plt.scatter(x1, y1, c='r', marker='x')
    #画图例
    plt.legend(handles=[scatter0,scatter1],labels=['label0','label1'],loc='best')
    
plot()
plt.show()

# fit the model
# C和gamma
model = svm.SVC(kernel='rbf')
model.fit(x_data, y_data)
model.score(x_data,y_data)

0.8050847457627118

# 获取数据值所在的范围
x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

z = model.predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
z = z.reshape(xx.shape)

# 等高线图
cs = plt.contourf(xx, yy, z)
plot() 
plt.show()