从负无穷学习机器学习（五）支持向量机SVM

最新推荐文章于 2024-09-17 13:05:24 发布

SeanOY

最新推荐文章于 2024-09-17 13:05:24 发布

阅读量546

点赞数

分类专栏：机器学习 python 文章标签：机器学习

本文链接：https://blog.csdn.net/qq_33194301/article/details/103955940

版权

本文深入探讨支持向量机（SVM），一种处理线性不可分数据的算法。介绍了SVM的核心概念——支持向量，以及线性内核和RBF内核的使用。通过对比不同核函数和参数选择，展示了如何影响模型性能。以波士顿房价数据为例，实际应用SVM进行回归分析，并强调了数据预处理和参数调优的重要性。

摘要由CSDN通过智能技术生成

文章目录

一、支持向量机

如果样本数据是线性不可分的，之前的分类器处理这类数据效果不太好，而SVM(Support Vector Machine)是一种专门处理线性不可分数据的算法。

SVM算法中，训练模型的过程实际上是对每个数据点对于数据分类决定边界的重要性进行判断。也就是说在训练数据集中，只有一部分数据对于边界的确定是有作用的，而这些数据点正好在决定边界上，这些数据被称为“支持向量”。

二、支持向量机的核函数

SVM可以将二维数据（2 Dimension）转变成三维数据（3 Dimension），这称为将数据投射至高维空间。

这正是SVM算法的核函数（kernel trick）功能，用的最普遍的用于将数据投射到高维空间的方法是多项式内核（Polynomial kernel）和径向基内核（Radial Basis Function kernel，RBF）多项式内核就是将不同的特征乘方处理。而RBF内核也称为高斯内核（Gaussian kernel），接下来介绍一下它。

（一）、线性（linear）内核的SVM的分类器

# 导入科学计算工具
import numpy as np
# 导入画图工具
import matplotlib.pyplot as plt
# 导入支持向量机
from sklearn import svm
# 导入数据集生成工具
from sklearn.datasets import make_blobs

# 创建50个数据点，让它分成两类
X, y = make_blobs(n_samples=50, centers=2, random_state=6)

# 创建一个线性内核的支持向量机模型
clf = svm.SVC(kernel='linear', C=1000)
clf.fit(X, y)
# 把数据点画出来
plt.scatter(X[:, 0], X[:, 1], c=y, s=30, cmap=plt.cm.Paired)

# 建立图像坐标
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()

# 生成两个等差数列
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)

# 把分类的决定边界画出来
ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,
           linestyles=['--', '-', '--'])

ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=100,
           linewidths=1, facecolors='none')
plt.title('Classifier: SVM Linear kernel')
plt.show()

在这里插入图片描述

（二）、RBF内核的SVM的分类器

# 如果SVM支持向量机使用RBF内核
# 创建一个RBF内核的支持向量机模型
clf_rbf = svm.SVC(kernel='rbf', C=1000, gamma=0.5) # 要指定gamma
clf_rbf.fit(X, y)
# 画出数据点
plt.scatter(X[:, 0], X[:, 1], c=y, s=30, cmap=plt.cm.Paired)

<