使用Python实现支持向量机 -------文章中有源码

已于 2022-04-04 15:34:29 修改
阅读量1.3w 收藏 280
点赞数 33
分类专栏： 机器学习 文章标签： 支持向量机 python 机器学习
于 2021-12-19 00:12:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46906413/article/details/121732359
版权

在这里插入图片描述

一、实验目的
使用Python实现支持向量机。
二、Python包
（1）sklearn
（2）mglearn
（3）matplotlib
（4）numpy

三、实验步骤
（1）数据集引入，并使用图像展示
（2）使用SVM进行分类
（注：用于分类的线性模型只能用一条直线来划分数据点，对这个数据集无法给出较好的结果）
（3）现在我们对输入特征进行扩展，比如说添加第二个特征的平方（feature1 ＊＊ 2）作为一个新特征。现在我们将每个数据点表示为三维点(feature0, feature1,feature1 ＊＊ 2)，而不是二维点(feature0, feature1)
（4）在数据的新表示中，现在可以用线性模型（三维空间中的平面）将这两个类别分开。我们可以用线 性模型拟合扩展后的数据来验证这一点。
（5）如果将线性SVM模型看作原始特征的函数，那么它实际上已经不是线性的了。它不是一条直线，而是一个椭圆。
代码：

from sklearn.datasets import make_blobs
import mglearn
import matplotlib.pyplot as plt
import numpy as np
from sklearn.svm import LinearSVC
from mpl_toolkits.mplot3d import Axes3D,axes3d

# 数据集引入并使用图像展示
X,y = make_blobs(centers=4,random_state=8)
y = y%2
mglearn.discrete_scatter(X[:,0],X[:,1],y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()


#使用SVM进行分类
linear_svm = LinearSVC().fit(X,y)
mglearn.plots.plot_2d_separator(linear_svm,X)
mglearn.discrete_scatter(X[:,0],X[:,1],y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")

#第二个特征的平方作为一个新的特征，二维变三维
X_new = np.hstack([X,X[:,1:]**2])
figure = plt.figure()
ax = Axes3D(figure, elev=-152, azim=-26)
mask = y == 0
ax.scatter(X_new[mask, 0], X_new[mask, 1], X_new[mask, 2], c='b', cmap=mglearn.cm2, s=60)
ax.scatter(X_new[~mask, 0], X_new[~mask, 1], X_new[~mask, 2], c='r', marker='^', cmap=mglearn.cm2, s=60)
ax.set_xlabel("Feature 0")
ax.set_ylabel("Feature 1")
ax.set_zlabel("Feature 1 ** 2")


#三维
linear_svm_3d = LinearSVC().fit(X_new,y)
coef,intercept = linear_svm_3d.coef_.ravel(),linear_svm_3d.intercept_
figure = plt.figure()
ax = Axes3D(figure,elev=-152,azim=-26)
xx = np.linspace(X_new[:, 0].min() - 2, X_new[:, 0].max() + 2, 50)
yy = np.linspace(X_new[:, 1].min() - 2, X_new[:, 1].max() + 2, 50)
XX,YY = np.meshgrid(xx,yy)
ZZ = (coef[0]*XX+coef[1]*YY+intercept)/-coef[2]
ax.plot_surface(XX,YY,ZZ,rstride=8,cstride=8,alpha=0.3)
ax.scatter(X_new[mask,0],X_new[mask,1],X_new[mask,2],c='b',cmap=mglearn.cm2,s=60)
ax.scatter(X_new[~mask,0],X_new[~mask,1],X_new[~mask,2],c='r', marker='^', cmap=mglearn.cm2,s=60)
ax.set_xlabel("Feature 0")
ax.set_ylabel("Feature 1")
ax.set_zlabel("Feature 1 ** 2")


#降维
ZZ = YY ** 2
dec = linear_svm_3d.decision_function(np.c_[XX.ravel(),YY.ravel(),ZZ.ravel()])
plt.contourf(XX,YY,dec.reshape(XX.shape),levels=[dec.min(),0,dec.max()],
    cmap=mglearn.cm2,alpha=0.5)
mglearn.discrete_scatter(X[:,0],X[:,1],y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()

在这里插入图片描述
在这里插入图片描述

实验六 支持向量机（补充）
一、实验目的
使用Python实现支持向量机。

二、实验原理
支持向量机所作的事情其实非常容易理解。先来看看下面这一组数据的分布，这是一组两种标签的数据，两种标签分别由圆和方块代表。支持向量机的分类方法，是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差尽量接近于小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。

三、Python包
（1）sklearn
（2）mglearn
（3）matplotlib
（4）numpy

四、问题描述
有如下数据集：
X :
[[-2.23 -1. ]
[-2.06 -1.58]
[ 0.22 -2.12]
[-1.18 -2.82]
[-1.44 -1.55]
[-0.5 -1.76]
[-0.92 -1.47]
[-0.71 -4.54]
[-1.52 -2.22]
[-2.45 -2.62]
[-1.31 -2.07]
[-3.81 -1.72]
[-2.93 -1.88]
[-1.19 -2.51]
[-0.76 -0.79]
[-4. -1.89]
[-3.08 -1.99]
[-1.96 -1.37]
[-0.78 -2.87]
[-2.87 -2.07]
[ 1.62 3.05]
[ 3.15 2.29]
[ 1.58 2.45]
[ 2.93 3.04]
[ 1.13 2.5 ]
[ 0.73 1.06]
[ 1.22 2.91]
[ 2.18 1.41]
[ 2.12 2.2 ]
[ 1.04 1.9 ]
[-0.64 3.57]
[ 1.6 3.34]
[ 0.52 0.73]
[ 4.25 1.86]
[ 0.37 2.02]
[ 1.95 1.74]
[ 3.56 0.85]
[ 3.19 1.37]
[ 2.93 3.32]
[ 1.82 1.68]]
Y:
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
试采用sklearn 包使用SVM算法对其进行分类。
代码：

import matplotlib.pyplot as plt
import mglearn
import numpy as np

X = np.array(
    [[-2.23, - 1.0], [-2.06, -1.58], [0.22, -2.12], [-1.18, -2.82], [-1.44, -1.55], [-0.5, -1.76], [-0.92, -1.47],
     [-0.71, -4.54], [-1.52, -2.22], [-2.45, -2.62], [-1.31, -2.07], [-3.81, -1.72], [-2.93, -1.88], [-1.19, -2.51],
     [-0.76, -0.79], [-4., -1.89], [-3.08, -1.99], [-1.96, -1.37], [-0.78, -2.87], [-2.87, -2.07], [1.62, 3.05],
     [3.15, 2.29], [1.58, 2.45], [2.93, 3.04], [1.13, 2.5], [0.73, 1.06], [1.22, 2.91], [2.18, 1.41], [2.12, 2.2],
     [1.04, 1.9], [-0.64, 3.57], [1.6, 3.34], [0.52, 0.73], [4.25, 1.86], [0.37, 2.02], [1.95, 1.74], [3.56, 0.85],
     [3.19, 1.37], [2.93, 3.32], [1.82, 1.68]])
y = np.array(
    [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,1, 1])
print(X)
print(y)
mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()


from sklearn.svm import LinearSVC

linear_svm = LinearSVC().fit(X, y)

mglearn.plots.plot_2d_separator(linear_svm, X)
mglearn.discrete_scatter(X[:, 0], X[:, 1], y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.show()
w, b = linear_svm.coef_, linear_svm.intercept_
print(w, b)

截图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

不良使
关注
  • 33
    点赞
  • 踩
  • 280
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 27
    评论
专栏目录
Python实战开发及案例分析（15）—— 支持向量机
贾贾的博客
05-10 1388
支持向量机（Support Vector Machine，SVM）是一种监督学习模型，适用于分类和回归任务。SVM 尤其擅长处理小样本、高维度数据，以及复杂的分类任务。其基本思想是找到最佳的超平面将不同类别分开，并最大化两类之间的间隔（Margin）。
吴恩达机器学习作业Python实现(六)：支持向量机
在无人问津的日子里默默努力
09-13 2588
在本练习前半部分，将对各种2D数据集使用支持向量机，通过这些数据集可以更加直观了解支持向量机的工作方式，以及如何在支持向量机中使用高斯核。后半部分，使用支持向量机搭建一个垃圾邮件分类器。
【Python/Pytorch 】-- SVM算法
银尘博客
06-23 1218
SVM算法可以结合鲸鱼算法、飞蛾扑火算法、粒子群算法、灰狼算法、蝙蝠算法等等各种优化算法一起，进行回归预测或者分类预测。支持向量机（Support Vector Machine, SVM）是一种用于分类和回归分析的监督学习模型。SVM的基本思想是通过寻找一个超平面，将不同类别的样本进行最大间隔分离。SVM在高维空间中表现出色，特别适用于小样本、非线性及高维数据的分类。
支持向量机SVM的原理和python实现
热门推荐
apple_52030329的博客
06-21 1万+
支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。
实验六 支持向量机
qq_53944577的博客
12-06 3355
一、实验目的 使用Python实现支持向量机。 二、实验原理 支持向量机所作的事情其实非常容易理解。先来看看下面这一组数据的分布，这是一组两种标签的数据，两种标签分别由圆和方块代表。支持向量机的分类方法，是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差尽量接近于小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。 三、Python包 （1）sklearn （2）mglearn （3）matplotlib （4）numpy 四、问题描述 有如下数据集： X : [[-2.23 -1. ]
Python机器学习11——支持向量机
weixin_46277779的博客
06-29 5926
支持向量机，图片分类，核函数，支持向量机回归
python支持向量机
whaosoft143ai的博客
06-27 1401
whaosoft aiot http://143ai.com SVM从过去的炙手可热到如今的日薄西山，仅仅过去了十年的时间，无论是精度还是效率，SVM都完败于当下随处可见的神经网络，关于从零开始实现SVM的意义，我也感到迷茫，但这一过程或多或少改变了我对机器学习的认知，一个简洁优雅的多项式时间精确算法，也许只能满足理论研究者的洁癖，而优化复杂模型的近似算法，在工程上赢得了未来。
如何用 python 实现支持向量机（SVM）
weixin_53642818的博客
08-17 2443
支持向量机的原理简单概括来说，就是在样本空间寻找最佳分类面即超平面，将训练样本分开。对于样本空间，可能存在多个划分超平面将两类训练样本分开。我们就想找到一个最优的平面能够使样本正确分类，即找到一个平面使得边缘距离最小，如图2.1所示：图2.1：支持向量机原理图。
Matlab实现NGO-CNN-SVM北方苍鹰算法优化卷积支持向量机分类预测（完整源码和数据)
09-24
1.Matlab实现NGO-CNN-SVM北方苍鹰算法优化卷积支持向量机分类预测（完整源码和数据) 2.优化参数为：学习率，批量处理大小，正则化参数。 3.图很多，包括分类效果图，迭代优化图，混淆矩阵图。 4．附赠案例数据可...
Matlab实现SMA-LSSVM黏菌算法优化最小二乘支持向量机数据分类预测（完整源码和数据）
05-29
1.Matlab实现SMA-LSSVM黏菌算法优化最小二乘支持向量机数据分类预测（完整源码和数据）,优化参数为,优化RBF核函数gam和sig，运行环境为Matlab2018及以上。 2.多特征输入单输出的二分类及多分类模型。程序内注释详细...
Matlab实现CPO-LSSVM冠豪猪算法优化最小支持向量机数据分类预测（完整源码和数据）
03-30
1.Matlab实现CPO-LSSVM冠豪猪算法优化最小支持向量机数据分类预测（完整源码和数据）,优化参数为,优化RBF 核函数gam和sig，运行环境为Matlab2018及以上。 2.多特征输入单输出的二分类及多分类模型。程序内注释详细，...
Matlab实现FA-LSSVM萤火虫算法优化最小二乘支持向量机数据分类预测（完整源码和数据）
06-16
1.Matlab实现FA-LSSVM萤火虫算法优化最小二乘支持向量机数据分类预测（完整源码和数据）,优化参数为,优化RBF核函数gam和sig，运行环境为Matlab2018及以上。 2.多特征输入单输出的二分类及多分类模型。程序内注释详细...
CNN-SVM卷积神经网络结合支持向量机故障诊断/分类预测（Matlab完整源码）
07-27
1.Matlab实现CNN-SVM卷积神经网络结合支持向量机故障诊断/分类预测（Matlab完整源码和数据）。数据为西储大学轴承诊断数据经过特征提取后的数据。 2.输出对比图、混淆矩阵图、预测准确率，运行环境Matlab2023及以上...
Python高级算法——支持向量机（Support Vector Machine，SVM）
Echo_Wish的博客
12-17 1258
支持向量机是一种强大的监督学习算法，通过在高维空间中找到最优的超平面实现样本的有效分类。本文详细介绍了SVM的算法原理、核函数、超参数调优、软间隔与硬间隔、优缺点等关键概念，并通过代码示例演示了SVM在鸢尾花数据集上的应用。在实际应用中，根据问题的特点选择合适的核函数和调优参数，能够提高SVM模型的性能，取得更好的分类效果。
机器学习：Python中如何使用支持向量机(SVM)算法
AI333888的博客
09-01 3696
(简单介绍一下支持向量机，详细介绍尤其是算法过程可以查阅其他资)在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类(异常值检测)以及回归分析。其具有以下特征：(1)SVM可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。(2) SVM通过最大化决策边界的边缘来实现控制模型的能力。
Python机器学习入门 -- 支持向量机学习笔记
m0_55202222的博客
05-07 1038
大部分传统的机器学习算法都可以实现分类任务，但这些模型关注的是将不同类别的数据分得开就行，也就是说它们的核心思想是让整个模型分类出错的损失越小越好。刚刚好有一种机器学习模型，它不仅关注分类能不能将不同类别的数据完全分得开，还关注分类得到的决策边界的间隔能不能最大化，即离该决策边界每个类别最近的数据点的距离能不能更远，这就是我们今天的主角 - - 支持向量机。
机器学习——支持向量机（SVM）（2）
最新发布
CXDNW的博客
08-12 1159
中间的 虚线代表着，当 recall 增加 1%，我们的 FPR 也增加 1%，也就是说，每 捕捉出 一个少数 类，就会 有一个 多数类 被判错，这种情况下，模型的效果就不好，这种 模型捕获 少数类的结果，会让许多多数类 被误伤，从而增加成本。横坐标是 FPR，代表着 模型将多数类判断错误的 能力，纵坐标 Recall，代表着模型捕捉少数类的 能力，所以 ROC 曲线 代表着，随着Recall 的 不断增加，FPR 如何增加。表示 所有真实为 1 的样本中，被 预测正确的样本 所占的比例。
python支持向量机SVM源码
06-23
Python中的支持向量机（SVM）通常是由一些成熟的机器学习库实现的，如Scikit-learn、TensorFlow或PyTorch。这些库背后并没有直接暴露源码，因为它们通常是基于科学计算社区的贡献和优化，而非从头编写。 Scikit-learn是一个广泛使用的Python库，其SVM模块是用C语言实现的高性能部分，然后封装成Python接口供用户使用。Scikit-learn的SVM源码不在公共仓库中公开，因为这涉及到版权和商业策略。如果你对Scikit-learn内部实现感兴趣，可以查看其GitHub仓库（https://github.com/scikit-learn/scikit-learn），但请注意，你可能无法直接访问底层细节。 TensorFlow和PyTorch等深度学习库也提供了SVM功能，但它们的核心是深度学习框架，而不是传统的统计机器学习算法。它们的源码更侧重于神经网络的实现，对于SVM的具体实现细节可能并不透明。 如果你想要了解SVM的基本原理和算法，可以查阅公开的学术论文和在线教程，比如Vapnik的原始论文《The Nature of Statistical Learning Theory》或者维基百科上关于SVM的介绍。
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不良使

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值