【机器学习】【支持向量机】Python使用Sklearn实战支持向量机模型与决策边界可视化

不断向上的萝卜

于 2024-01-18 22:32:10 发布

阅读量533

点赞数 9

文章标签：机器学习支持向量机人工智能

本文链接：https://blog.csdn.net/weixin_62100318/article/details/135685789

版权

本文介绍了如何使用scikit-learn中的SVC类，以线性核函数为例，对鸢尾花数据集进行二分类，并展示了支持向量机的决策边界。同时讨论了C参数对过拟合的影响。

摘要由CSDN通过智能技术生成

API文档：sklearn.svm.SVC-scikit-learn中文社区

import numpy as np
import os
# %matplotlib inline
import matplotlib
import matplotlib.pyplot as plt

plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12
import warnings

warnings.filterwarnings('ignore')

'''导入库与数据集（鸢尾花数据集）'''
from sklearn.svm import SVC
from sklearn import datasets

iris = datasets.load_iris()
X = iris["data"][:, (2, 3)]  ##选择全部样本 仅选择两个特征是便于展示。
y = iris["target"]
###为了演示方便，将三分类问题转化为二分类问题便于决策边界的展示
setosa_or_versicolor = (y == 0) | (y == 1)  ##获得y为1与0值的索引值
X = X[setosa_or_versicolor]
y = y[setosa_or_versicolor]

svm_clf = SVC(kernel="linear", C=1e12)
##使用线性核函数举例  先不管C值参数（控制过拟合）
svm_clf.fit(X, y)

'''绘制支持向量机决策边界'''


def plot_decision_boundary(svm_clf, xmin, xmax, sv=True):
    w = svm_clf.coef_[0]  # 权重参数  得到的为二维数据
    b = svm_clf.intercept_[0]  # 偏置参数
    x0 = np.linspace(xmin, xmax, 200)
    decision_boundary = -w[0] / w[1] * x0 - b / w[1]  ##此处是求解x1  需要根据求解公式解出
    margin = 1 / w[1]
    gutter_up = decision_boundary + margin  ##边界上
    gutter_down = decision_boundary - margin  # 边界下
    if sv:
        svs = svm_clf.support_vectors_  ##得到支持向量 点数据
        plt.scatter(svs[:, 0], svs[:, 1], s=180, facecolors="#FFAAAA")
    plt.plot(x0, decision_boundary, 'k-', linewidth=2)
    plt.plot(x0, gutter_up, 'k--', linewidth=2)
    plt.plot(x0, gutter_down, 'k--', linewidth=2)


'''绘制SVM决策边界'''
plt.figure(figsize=(7, 4))
plot_decision_boundary(svm_clf, 0, 5.5, sv=True)
###绘制数据点
plt.plot(X[:, 0][y == 1], X[:, 1][y == 1], 'bs')
plt.plot(X[:, 0][y == 0], X[:, 1][y == 0], 'ys')
plt.axis([0, 5.5, 0, 2])
plt.show()