"""
SVM支持向量机
"""
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sb
from scipy.io import loadmat
from sklearn import svm
mat = loadmat('data/ex6data1.mat')
# print(mat.keys()) # 打印关键字
'''打印结果: dict_keys(['__header__', '__version__', '__globals__', 'X', 'y'])'''
X = mat['X']
y = mat['y']
'''大多数SVM的库会自动帮你添加额外的特征x0,所以无需手动添加。'''
#print(X, '\n', y) # X,y都是二维数组
# 画数据集的散点图
def plotData(X, y):
plt.figure(figsize=(8, 5))
plt.scatter(X[:, 0], X[:, 1], c=y.flatten(), cmap='rainbow')
# c:色彩或颜色序列 camp:colormap(颜色表)
plt.xlabel('X1')
plt.ylabel('X2')
plotData(X, y)
#plt.show()
数据散点图:
# 画数据集的散点图
def plotData(X, y):
plt.figure(figsize=(8, 5))
plt.scatter(X[:, 0], X[:, 1], c=y.flatten(), cmap='rainbow')
# c:色彩或颜色序列 camp:colormap(颜色表)
plt.xlabel('X1')
plt.ylabel('X2')
# plotData(X, y)
# plt.show()
# 画决策边界
def plotBoundary(clf, X):
x_min, x_max = X[:, 0].min() * 1.2, X[:, 0].max() * 1.1 # 横坐标轴范围
y_min, y_max = X[:, 1].min() * 1.1, X[:, 1].max() * 1.1 # 纵坐标轴范围
xx, yy = np.meshgrid(np.linspace(x_min, x_max, 500),
np.linspace(y_min, y_max, 500)) # 生成网格点坐标矩阵
# np.linspace(x_min, x_max, 500).shape---->(500, ) 500是样本数
# xx.shape, yy.shape ---->(500, 500) (500, 500)
'''
>>> X, Y = np.meshgrid([1,2,3], [4,5,6,7])
>>> X
array([[1, 2, 3],
[1, 2, 3],
[1, 2, 3],
[1, 2, 3]])
>>> Y
array([[4, 4, 4],
[5, 5, 5],
[6, 6, 6],
[7, 7, 7]])
'''
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) # model.predict:模型预测 (250000, )
# ravel()将多维数组转换为一维数组 xx.ravel().shape ----> (250000,1)
# np.c 中的c是column(列)的缩写,就是按列叠加两个矩阵,就是把两个矩阵左右组合,要求行数相等。
# np.c_[xx.ravel(), yy.ravel()].shape ----> (250000,2) 就是说建立了250000个样本
"""
==> np.c_[X.ravel(),Y.ravel()]
==> [[1,4],
[2,4],
[3,4],
[1,5],
[2,5],
...
[3,7]]
"""
Z = Z.reshape(xx.shape) # 重塑预测结果矩阵 (500,500)
#print(Z)
'''
运行结果:
[[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
[0 0 0 ... 0 0 0]
...
[1 1 1 ... 1 1 1]
[1 1 1 ... 1 1 1]
[1 1 1 ... 1 1 1]]
'''
plt.contour(xx, yy, Z) # 绘制等高线
models = [svm.SVC(C, kernel='linear') for C in [1, 100]]
# 支持向量机模型 (kernel:核函数选项,这里是线性核函数 , C:权重,这里取1和100)
# 线性核函数画的决策边界就是直线
clfs = [model.fit(X, y.ravel()) for model in models] # model.fit:拟合出模型
title = ['SVM Decision Boundary with C = {} (Example Dataset 1)'.format(C) for C in [1, 100]] # 图像标题
for model, title in zip(clfs, title):
# zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。
plt.figure(figsize=(8, 5))
plotData(X, y) # 数据散点图
plotBoundary(model, X) # 用拟合好的模型(预测那些250000个样本),绘制决策边界
plt.title(title)
# plt.show()
"""
当C比较小时:模型对误分类的惩罚增大,间隔比较宽。
当C比较大时:模型对误分类的惩罚减小,间隔比较窄。
"""
高斯核函数公式:
# 高斯核函数,用于非线性分类
def gaussKernel(x1, x2, sigma):
return np.exp(-((x1 - x2) ** 2).sum() / (2 * sigma ** 2))
print(gaussKernel(np.array([1, 2, 1]), np.array([0, 4, -1]), 2.))
# 运行结果:0.32465246735834974
# 引入第二个数据集
mat = loadmat('data/ex6data2.mat')
X2 = mat['X']
y2 = mat['y']
plotData(X2, y2)
#plt.show()
# 画决策边界
sigma = 0.1
gamma = np.power(sigma, -2.) / 2
'''
高斯核函数中的gamma越大,相对高斯函数中的σ越小,此时的分布曲线也就会越高越瘦。
高斯核函数中的gamma越小,相对高斯函数中的σ越大,此时的分布曲线也就越矮越胖。
'''
clf = svm.SVC(C=1, kernel='rbf', gamma=gamma) # kernel='rbf'表示支持向量机使用高斯核函数
model = clf.fit(X2, y2.flatten()) # 拟合出模型
plotData(X2, y2)
plotBoundary(model, X2) # 模型(预测),画决策边界
#plt.show()
引入第三组数据:
# 引入第三个数据集
mat3 = loadmat('data/ex6data3.mat')
X3, y3 = mat3['X'], mat3['y'] # 训练集
Xval, yval = mat3['Xval'], mat3['yval'] # 交叉验证集
plotData(X3, y3) # 画训练集散点图
#plt.show()
Cvalues = (0.01, 0.03, 0.1, 0.3, 1., 3., 10., 30.) # 权重C的候选值
sigmavalues = Cvalues # 核函数参数的候选值
best_pair, best_score = (0, 0), 0 # 最佳的(C,sigma)权值 ,决定系数(R2)
# 寻求最佳权值(C,sigma)
for C in Cvalues:
for sigma in sigmavalues:
gamma = np.power(sigma, -2.) / 2
model = svm.SVC(C=C, kernel='rbf', gamma=gamma) # 使用核函数的支持向量机
model.fit(X3, y3.flatten()) # 拟合出模型
this_score = model.score(Xval, yval) # 利用交叉验证集来选择最合适的权重
'''
model.score函数的返回值是决定系数,也称R2。
可以测度回归直线对样本数据的拟合程度,决定系数的取值在0到1之间,
决定系数越高,模型的拟合效果越好,即模型解释因变量的能力越强。
'''
# 选择拟合得最好的权重值
if this_score > best_score:
best_score = this_score
best_pair = (C, sigma)
print('最优(C,sigma)权值:', best_pair, '决定系数为:', best_score)
# 最优(C,sigma)权值: (1.0, 0.1) 决定系数为: 0.965
model = svm.SVC(C=1., kernel='rbf', gamma=np.power(.1, -2.) / 2) # 用确定好的权重再重新声明一次支持向量机
model.fit(X3, y3.flatten()) # 模型拟合
plotData(X3, y3)
plotBoundary(model, X3) # 画模型的决策边界
#plt.show()
model.score ( ) 函数的返回值是决定系数,也称R2,其计算公式如下: