2020-08-26

初识支持向量机

1、SVM介绍

支持向量机（Support Vector Machine，SVM）是一个非常优雅的算法，具有非常完善的数学理论，常用于数据分类，也可以用于数据的回归预测中，由于其其优美的理论保证和利用核函数对于线性不可分问题的处理技巧，在上世纪90年代左右，SVM曾红极一时。

2、Demo实践
首先我们利用sklearn直接调用 SVM函数进行实践尝试。

Step1:库函数导入

import numpy as np

import matplotlib.pyplot as plt
import seaborn as sns

from sklearn import svm

Step2:构建数据集并进行模型训练
##Demo演示LogisticRegression分类

x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])

svc = svm.SVC(kernel=‘linear’)

svc = svc.fit(x_fearures, y_label)

Step3:模型参数查看

print(‘the weight of Logistic Regression:’,svc.coef_)

print(‘the intercept(w0) of Logistic Regression:’,svc.intercept_)

the weight of Logistic Regression: [[0.33364706 0.33270588]]
the intercept(w0) of Logistic Regression: [-0.00031373]

Step4:模型预测

y_train_pred = svc.predict(x_fearures)
print(‘The predction result:’,y_train_pred)

The predction result: [0 0 0 1 1 1]

Step4:模型可视化

由于此处选择的线性核函数，所以在此我们可以将svm进行可视化

x_range = np.linspace(-3, 3)
w = svc.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_range - (svc.intercept_[0]) / w[1]

plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap=‘viridis’)
plt.plot(x_range, y_3, ‘-c’)
plt.show()
可以对照之前的逻辑回归模型的决策边界，我们可以发现两个决策边界是有一定差异的（可以对比两者在X,Y轴上的截距），这说明这两个不同在相同数据集上找到的判别线是不同的，而这不同的原因其实是由于两者选择的最
优目标是不一致的。

以上就是初始SVM的demo代码。