分类Classification(支持向量机 SVM)

十二、支持向量机(SVM)

1. 原理

1. 寻求最优分类边界：

   • 正确：对大部分样本可以正确地划分类别。

   • 泛化：最大化支持向量间距。

   • 公平：与支持向量等距。

   • 简单：线性，直线或平面，分割超平面。

2. 基于核函数的升维变换：

   • 通过名为核函数的特征变换，增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题。

2. 不同核函数的分类效果

1. 线性核函数：linear，不通过核函数进行维度提升，尽在原始维度空间中寻求线性分类边界。

# svm_line.py
import numpy as np
import sklearn.model_selection as ms
import sklearn.svm as svm
import sklearn.metrics as sm
import matplotlib.pyplot as mp

x, y = [], []
with open('../data/multiple2.txt', 'r') as f:
    for line in f.readlines():
        data = [float(substr) for substr in line.split(',')]
        x.append(data[:-1])
        y.append(data[-1])
x = np.array(x)
y = np.array(y, dtype=int)
train_x, test_x, train_y, test_y = ms.train_test_split(x, y, test_size=0.25, random_state=5)

# 基于线性核函数的支持向量机分类器
model = svm.SVC(kernel='linear')
model.fit(train_x, train_y)
l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
grid_x = np.meshgrid(np.arange(l, r, h), np.arange(b, t, v))
flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
flat_y = model.predict(flat_x)
grid_y = flat_y.reshape(grid_x[0].shape)
pred_test_y = model.predict(test_x)
cr = sm.classification_report(test_y, pred_test_y)
print(cr)
mp.figure('SVM Linear Classification', dpi=120)
mp.title('SVM Linear Classification', fontsize=20)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x[0], grid_x[1], grid_y, cmap='gray')
mp.scatter(test_x[:, 0], test_x[:, 1], c=test_y, cmap='brg', s=80)
mp.show()

              precision    recall  f1-score   support

           0       0.64      0.96      0.77        45
           1       0.75      0.20      0.32        30

    accuracy                           0.65        75
   macro avg       0.70      0.58      0.54        75
weighted avg       0.69      0.65      0.59        75

2. 多项式核函数：poly，通过多项式函数增加原始样本特征的高次方幂

$x1x2->y$

$x1x2x{1}^{2}x1x2x{2}^2->y$ 2次多项式升维

$x1x2x{1}^{3}x{1}^{2}x2x1x{2}^{2}x{2}^3->y$ 3次多项式升维

# svm_poly.py
# 基于3次多项式核函数的支持向量机分类器
model = svm.SVC(kernel='poly', degree=3)
model.fit(train_x, train_y)
l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
b, t, v = x[