【机器学习】吴恩达 6.0 SVM支持向量机

6.0 SVM支持向量机

使用支持向量机(SVM)处理各种两维的样本数据集，了解支持向量机如何工作，以及如何使用带高斯核函数的SVM。

1.导入数据并绘制第一个数据集的图像

data1=sio.loadmat('ex6data1.mat')
data2=sio.loadmat('ex6data2.mat')
data3=sio.loadmat('ex6data3.mat')

print(data1.keys()) 
print(data2.keys()) 
print(data3.keys()) 
X1,y1=data1['X'],data1['y'].flatten()
X2,y2=data2['X'],data2['y'].flatten()
X3,y3=data3['X'],data3['y'].flatten()
Xval,yval=data3['Xval'],data3['yval'].flatten()
print(X1.shape,y1.shape)
print(X2.shape,y2.shape)
print(X3.shape,y3.shape)
print(Xval.shape,yval.shape)

def plot_data(x,y):
     n=x[y==0]
     p=x[y==1]#不同的分类结果
     plt.scatter(p[:,0],p[:,1],c='r',marker='x',label='y=1')
     plt.scatter(n[:,0],n[:,1],c='g',marker='o',edgecolors='g',linewidths=0.5,label='y=0')
     plt.legend()
     plt.show()#不带()在交互式环境中使用，并且会自动显示最新的图形。，带()则直接显示图像，不会自动更新

plot_data(X1,y1)

2.使用sklearn.svm拟合并预测

关于sklearn.svm模块，参考了该佬的总结

#拟合并预测
from sklearn.svm import SVC
svc1=SVC(C=1,kernel='linear')#线性函数 对两个向量做内积
svc1.fit(X1,y1.flatten())
svc1.predict(X1)
print(svc1.score(X1,y1.flatten()))

3.绘制决策边界

#决策边界
def plot_boundary(svc,X1):
     u=np.linspace(np.min(X1[:,0]),np.max(X1[:,0]),500)
     v=np.linspace(np.min(X1[:,1]),np.max(X1[:,1]),500)#500个点
     x,y=np.meshgrid(u,v)#将xy转化为网格500*500
     z=svc.predict(np.c_[x.flatten(),y.flatten()])#画等高线时需要将网格展开成二维数组进行predict再重新组成网格画图
     z=z.reshape(x.shape)#重新变为网格
     plt.contour(x,y,z,1,colors='b')#等高线 1是等高线分为几部分
     plt.title('The Decision Boundary')
     plt.show()
plt.figure(1)
plot_data(X1,y1)
plot_boundary(svc1,X1)
plt.show()#将之前的图更新显示，加了一条决策边界

4.绘制第二个数据集的决策边界（使用内置高斯核函数）

#训练模型 使用内置的
svc2=SVC(C=100,kernel='rbf',gamma=np.power(0.1,-2)/2)
svc2.fit(X2,y2)
svc1.predict([[0.4,0.9]])
print(svc2.score(X2,y2.flatten()))

plt.figure(2)
plot_data(X2,y2)
plot_boundary(svc2,X2)
plt.show

5.在验证集上寻找最佳参数，并绘制第三个数据集的决策边界

#验证集上寻找最佳参数
# plot_data(X3,y3)
# plot_data(Xval,yval)
# 寻找最优参数C和gamma
gammas = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]  # 9
Cvalues = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]  # 9
best_score = 0
best_pramas = (0, 0)#初始化
for c in Cvalues:
     for gamma in gammas:
          svc3 = SVC(C=c, kernel='rbf')
          svc3.fit(X3, y3)
          score = svc3.score(Xval, yval)
          if score > best_score:
               best_score = score
               best_pramas = (c, gamma)

print(best_score, best_pramas) #0.96 (30, 0.01)

plt.figure(3)
plot_data(X3, y3)
plot_boundary(svc3, X3)
plt.show

完整代码

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import scipy.io as sio
from scipy.optimize import minimize
from sklearn.svm import SVC

data1=sio.loadmat('ex6data1.mat')
data2=sio.loadmat('ex6data2.mat')
data3=sio.loadmat('ex6data3.mat')

#print(data1.keys()) dict_keys(['__header__', '__version__', '__globals__', 'X', 'y'])
#print(data2.keys())  dict_keys(['__header__', '__version__', '__globals__', 'X', 'y'])
#print(data3.keys())  dict_keys(['__header__', '__version__', '__globals__', 'X', 'y', 'yval', 'Xval'])

X1,y1=data1['X'],data1['y'].flatten()
X2,y2=data2['X'],data2['y'].flatten()
X3,y3=data3['X'],data3['y'].flatten()
Xval,yval=data3['Xval'],data3['yval'].flatten()
#print(X1.shape,y1.shape)(51, 2) (51,)
#print(X2.shape,y2.shape)(863, 2) (863,)
#print(X3.shape,y3.shape)(211, 2) (211,)
#print(Xval.shape,yval.shape)(200, 2) (200,)

def plot_data(x,y):
     n=x[y==0]
     p=x[y==1]#不同的分类结果
     plt.scatter(p[:,0],p[:,1],c='r',marker='x',label='y=1')
     plt.scatter(n[:,0],n[:,1],c='g',marker='o',edgecolors='g',linewidths=0.5,label='y=0')
     plt.legend()
     plt.show#在交互式环境中使用，并且会自动显示最新的图形。

#plot_data(X1,y1)

#拟合并预测
svc1=SVC(C=1,kernel='linear')#线性函数 对两个向量做内积
svc1.fit(X1,y1.flatten())
svc1.predict(X1)
#print(svc1.score(X1,y1.flatten()))0.9803921568627451


#决策边界
def plot_boundary(svc,X1):
     u=np.linspace(np.min(X1[:,0]),np.max(X1[:,0]),500)
     v=np.linspace(np.min(X1[:,1]),np.max(X1[:,1]),500)#500个点
     x,y=np.meshgrid(u,v)#将xy转化为网格500*500
     z=svc.predict(np.c_[x.flatten(),y.flatten()])#画等高线时需要将网格展开成二维数组进行predict再重新组成网格画图
     z=z.reshape(x.shape)#重新变为网格
     plt.contour(x,y,z,1,colors='b')#等高线 1是等高线分为几部分
     plt.title('The Decision Boundary')
     plt.show()
plt.figure(1)
plot_data(X1,y1)
plot_boundary(svc1,X1)
plt.show()

plot_data(X2,y2)
def gaussianKernel(x1,x2,sigma):#定义高斯函数
     return np.exp(-((x1-x2).T@(x1-x2))/(2*sigma*sigma))
# a1=np.array([1,2,1])
# a2=np.array([0,4,-1])
# sigma=2
#print(gaussianKernel(a1,a2,sigma))0.32465246735834974

#训练模型 使用内置的
svc2=SVC(C=100,kernel='rbf',gamma=np.power(0.1,-2)/2)
svc2.fit(X2,y2)
svc1.predict([[0.4,0.9]])
#print(svc2.score(X2,y2.flatten()))0.9976825028968713

plt.figure(2)
plot_data(X2,y2)
plot_boundary(svc2,X2)
plt.show

#验证集上寻找最佳参数
# plot_data(X3,y3)
# plot_data(Xval,yval)
# 寻找最优参数C和gamma
gammas = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]  # 9
Cvalues = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]  # 9
best_score = 0
best_pramas = (0, 0)
for c in Cvalues:
     for gamma in gammas:
          svc3 = SVC(C=c, kernel='rbf')
          svc3.fit(X3, y3)
          score = svc3.score(Xval, yval)
          if score > best_score:
               best_score = score
               best_pramas = (c, gamma)

print(best_score, best_pramas) #0.96 (30, 0.01)

plt.figure(3)
plot_data(X3, y3)
plot_boundary(svc3, X3)
plt.show