SVM实验笔记

“”"
预期效果
构造SVM分类器实例，应用测试集验证预测的准确度
实验步骤
本次实验需要完成以下步骤：
定义SVM类，主要属性的定义有数据集、标签集。拉格朗日乘子初始化矩阵、核函数矩阵
SMO算法实现
使用SVM进行评估
数据加载和模型评估
使用sklearn内置的SVM进行分类预测1. 创建SVM模型
a）步骤预期
ü 建立SVM模型，考虑数据集的线性不可分性，为此引入核函数。
“”"
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
import sys
import codecs

sys.stdout = codecs.getwriter(“utf-8”)(sys.stdout.detach())

抽象SVM类，属性有输入数据集、输入类标签，松弛变量、迭代终止条件、样本数、拉格朗日乘子等

class SVMStruct:
def init(self, dataSet, labels, C, toler, kernelOption):
self.train_x = dataSet # 输入数据集
self.train_y = labels # 输入类标签
self.C = C # 参数C，用于调整松弛变量比重
self.toler = toler # 迭代终止条件
self.numSamples = dataSet.shape[0] # 样本数
self.alphas = np.matrix(np.zeros((self.numSamples, 1))) # 拉格朗日乘子
self.b = 0 # 偏置
self.errorCache = np.matrix(np.zeros((self.numSamples, 2))) # 误差缓存
self.kernelOpt = kernelOption
self.kernelMat = calcKernelMatrix(self.train_x, self.kernelOpt)

上面类用到calcKernelMatrix()，用来计算核函数矩阵值，该值作为svm的属性值

def cal_kernel_value(matrix_x, sample_x, kernelOption):
kernelType = kernelOption[0]
m = matrix_x.shape[0]
kernelValue = np.matrix(np.zeros((m, 1)))
if kernelType == ‘linear’: # 线性核 X*Xt
kernelValue = matrix_x * sample_x.T
elif kernelType == ‘rbf’: # 高斯核函数 exp(-g |x - y|^2)
sigma = kernelOption[1]
if sigma == 0:
sigma = 1.0
for i in range(m):
diff = matrix_x[i, :] - sample_x
kernelValue[i] = np.exp(diff * diff.T / (-2.0 * sigma ** 2)) # 高斯核函数
else:
raise NameError(“请选择线性核和高斯核”)
return kernelValue

核函数计算结果矩阵

def calcKernelMatrix(train_x, kernelOption):
m = train_x.shape[0]
kernelMatrix = np.matrix(np.zeros((m, m)))
for i in range(m):
kernelMatrix[:, i] = cal_kernel_value(train_x, train_x[i, :], kernelOption)
return kernelMatrix

编写测试用例，定义函数test_case0()，使用简单的测试数据计算核函数矩阵

def test_case0():
X = np.matrix([[1, 1], [2, 2], [3, 3], [4, 4]])
max1 = calcKernelMatrix(X, (“linear”, 0))
print(max1)
max2 = calcKernelMatrix(X, (“rbf”, 1.3))
print(max2)

编写测试用例，定义函数test_case1()，生成SVM对象，输出alphas和b的值以及核函数计算后的矩阵

def test_case1():
train_x =