机器学习方法之支持向量机（Support Vector Machine，SVM）

机器学习方法之支持向量机（Support Vector Machine，SVM）

1、应用场所

支撑向量机（Support Vector Machin，SVM）可以解决分类问题，也可以用于解决回归问题。
在分类问题中，分类算法会将数据空间划分一个或多个决策边界（高维时称为超平面，为了简化问题，这里仅对两个特征的二分类问题进行讨论），决策边界的一边是一类，另一边是另一类。了解逻辑回归的应该都能理解。但是，不同的分类算法会对相同的数据生成不同的决策边界。那么，哪个决策边界才是最好的呢？这个问题称为不适定问题对于SVM来说，它的目的就是尽可能地找到一个合适的边界，来提高算法的泛化能力，即鲁棒性。参考：https://www.jianshu.com/p/7d25e56af510

2、代码实战–SVM用于鸢尾花分类（Python实现）

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from matplotlib.colors import ListedColormap
from sklearn.svm import SVC
X, y = datasets.make_moons(noise=0.15, random_state=666)
def plot_decision_boundary(model, axis)：
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1] - axis[0])*100)).reshape(1, -1),
        np.linspace(axis[2], axis[3], int((axis[3] - axis[2])*100)).reshape(1, -1)
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)
    custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
def PolynomialKernalSVC(degree, C=1.0):
    return Pipeline([
        ("std_scaler", StandardScaler()),
        ("kernelSVC", SVC(kernel="poly", degree=degree, C=C))
    ])
poly_kernel_svc = PolynomialKernalSVC(degree=3)
poly_kernel_svc.fit(X, y)
plot_decision_boundary(poly_kernel_svc, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(X[y == 0, 0], X[y == 0, 1])
plt.scatter(X[y == 1, 0], X[y == 1, 1])
plt.show()

分类结果