python+sklearn训练支持向量机分类模型

最新推荐文章于 2024-09-30 10:30:19 发布
最新推荐文章于 2024-09-30 10:30:19 发布
阅读量3k 收藏 67
点赞数 4
文章标签： svm 支持向量机 分类算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45081640/article/details/118101848
版权

本文所用文件的链接

链接：https://pan.baidu.com/s/1RWNVHuXMQleOrEi5vig_bQ
提取码：p57s

支持向量机(SVM)

支持向量机原理

  1. 寻求最优分类边界

    正确: 对大部分样本可以正确的划分类别.

    泛化: 最大化支持向量间距.

    公平: 各类别与分类边界等距.

    简单: 基于线性模型, 直线/平面.

  2. 基于核函数的升维变换

    通过名为核函数的特征变换, 增加新的特征, 使得低维度空间中的线性不可分问题在高维度空间变得线性可分。通俗的说，之前我们的分类，都是用直线，在二维平面内进行分割的，但是如果遇到如下的情况，就无法在二维平面内直接分割了，此时就可以利用支持向量机，将二维的数据上升到多维来进行分类。将原来的利用直线改成用曲线。主要方法就是改变API中的核函数。
    在这里插入图片描述

支持向量机的使用

线性核函数: linear 不通过核函数进行维度提升, 仅在原始维度空间中寻求线性分类边界.

import sklearn.svm as svm
model = svm.SVC(kernel='linear')
model.fit(x, y)
pred_test_y = model.predict(test_x)

先来看一下用之前的方式进行分类的方法。

"""
支持向量机
"""
import numpy as np
import sklearn.model_selection as ms
import sklearn.svm as svm
import sklearn.metrics as sm
import matplotlib.pyplot as mp

x, y = [],[]
data=np.loadtxt('../ml_data/multiple2.txt', 
	 delimiter=',')
x = data[:, :-1]
y = data[:, -1]
# 拆分训练集与测试集
train_x, test_x, train_y, test_y = \
	ms.train_test_split(x, y, test_size=0.25,
	random_state=5)
# 基于线性核函数的svm绘制分类边界
model=svm.SVC(kernel='linear')
model.fit(train_x, train_y)

# 绘制分类边界线
l, r = x[:, 0].min()-1, x[:, 0].max()+1
b, t = x[:, 1].min()-1, x[:, 1].max()+1
n = 500
grid_x, grid_y = np.meshgrid(
	np.linspace(l, r, n),
	np.linspace(b, t, n))
# 把grid_x与grid_y抻平了组成模型的输入,预测输出
mesh_x = np.column_stack(
	(grid_x.ravel(), grid_y.ravel()))
pred_mesh_y = model.predict(mesh_x)
grid_z = pred_mesh_y.reshape(grid_x.shape)

# 看一看测试集的分类报告
pred_test_y = model.predict(test_x)
cr = sm.classification_report(
	  	test_y, pred_test_y)
print(cr)

# 绘制这些点
mp.figure('SVM', facecolor='lightgray')
mp.title('SVM', fontsize=16)
mp.xlabel('X', fontsize=14)
mp.ylabel('Y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x,grid_y,grid_z,cmap='gray')

mp.scatter(x[:,0], x[:,1], s=60, 
		c=y, label='points', cmap='jet')

mp.legend()
mp.show()

如图所示，这个分类是非常失败的，根本没有任何效果。
在这里插入图片描述
多项式核函数: poly 通过多项式函数增加原始样本特征的高次方幂.

案例: 基于多项式核函数, 训练multiple2.txt

# 基于多项式核函数的svm绘制分类边界
model=svm.SVC(kernel='poly', degree=3)
model.fit(train_x, train_y)

看下多项式核函数的效果：

"""
支持向量机  多项式核函数
"""
import numpy as np
import sklearn.model_selection as ms
import sklearn.svm as svm
import sklearn.metrics as sm
import matplotlib.pyplot as mp

x, y = [],[]
data=np.loadtxt('../ml_data/multiple2.txt', 
	 delimiter=',')
x = data[:, :-1]
y = data[:, -1]
# 拆分训练集与测试集
train_x, test_x, train_y, test_y = \
	ms.train_test_split(x, y, test_size=0.25,
	random_state=5)
# 基于多项式核函数的svm绘制分类边界
model=svm.SVC(kernel='poly', degree=3)
model.fit(train_x, train_y)

# 绘制分类边界线
l, r = x[:, 0].min()-1, x[:, 0].max()+1
b, t = x[:, 1].min()-1, x[:, 1].max()+1
n = 500
grid_x, grid_y = np.meshgrid(
	np.linspace(l, r, n),
	np.linspace(b, t, n))
# 把grid_x与grid_y抻平了组成模型的输入,预测输出
mesh_x = np.column_stack(
	(grid_x.ravel(), grid_y.ravel()))
pred_mesh_y = model.predict(mesh_x)
grid_z = pred_mesh_y.reshape(grid_x.shape)

# 看一看测试集的分类报告
pred_test_y = model.predict(test_x)
cr = sm.classification_report(
	  	test_y, pred_test_y)
print(cr)

# 绘制这些点
mp.figure('SVM', facecolor='lightgray')
mp.title('SVM', fontsize=16)
mp.xlabel('X', fontsize=14)
mp.ylabel('Y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x,grid_y,grid_z,cmap='gray')

mp.scatter(x[:,0], x[:,1], s=60, 
		c=y, label='points', cmap='jet')

mp.legend()
mp.show()

如图：分类的效果明显提升，能分离大部分的数据，但是也还不够完美。
在这里插入图片描述

径向基核函数: rbf , 通过高斯分布函数增加原始样本特征的分布概率作为新的特征.

# C: 正则项
# gamma: 正态分布曲线的标准差
model= svm.SVC(
    kernel='rbf', C=600, gamma=0.01)

案例:再来试一下径向基核函数：

# 基于多项式核函数的svm绘制分类边界
model=svm.SVC(kernel='rbf', C=600, gamma=0.01)
model.fit(train_x, train_y)

"""
支持向量机  径向基核函数
"""
import numpy as np
import sklearn.model_selection as ms
import sklearn.svm as svm
import sklearn.metrics as sm
import matplotlib.pyplot as mp

x, y = [],[]
data=np.loadtxt('../ml_data/multiple2.txt', 
	 delimiter=',')
x = data[:, :-1]
y = data[:, -1]
# 拆分训练集与测试集
train_x, test_x, train_y, test_y = \
	ms.train_test_split(x, y, test_size=0.25,
	random_state=5)
# 基于多项式核函数的svm绘制分类边界
model=svm.SVC(kernel='rbf', C=600, gamma=0.01)
model.fit(train_x, train_y)

# 绘制分类边界线
l, r = x[:, 0].min()-1, x[:, 0].max()+1
b, t = x[:, 1].min()-1, x[:, 1].max()+1
n = 500
grid_x, grid_y = np.meshgrid(
	np.linspace(l, r, n),
	np.linspace(b, t, n))
# 把grid_x与grid_y抻平了组成模型的输入,预测输出
mesh_x = np.column_stack(
	(grid_x.ravel(), grid_y.ravel()))
pred_mesh_y = model.predict(mesh_x)
grid_z = pred_mesh_y.reshape(grid_x.shape)

# 看一看测试集的分类报告
pred_test_y = model.predict(test_x)
cr = sm.classification_report(
	  	test_y, pred_test_y)
print(cr)

# 绘制这些点
mp.figure('SVM', facecolor='lightgray')
mp.title('SVM', fontsize=16)
mp.xlabel('X', fontsize=14)
mp.ylabel('Y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x,grid_y,grid_z,cmap='gray')

mp.scatter(x[:,0], x[:,1], s=60, 
		c=y, label='points', cmap='jet')

mp.legend()
mp.show()

如图所示：完美再升级
在这里插入图片描述

Hello AI！
关注
python使用sklearn拟合支持向量机(SVM)模型进行分类、使用分层k折交叉验证器来评估模型，生成并绘制k折ROC曲线、生成一个带有均值和标准差范围统计信息的ROC曲线
statistics+insight+vista+power
06-11 329
python使用sklearn拟合支持向量机(SVM)模型进行分类、使用分层k折交叉验证器来评估模型，生成并绘制k折ROC曲线、生成一个带有均值和标准差范围统计信息的ROC曲线
二分类支持向量机(SVM)的Python实现
MrTriste的博客
04-25 9564
SVM Here I just realize a simple SVM which only supports binary classification, named C-SVC. 代码在Github Formulation Linear max γs.t.yi(wxi+b)|w|≥γmax γs.t.yi(wxi+b)|w|≥γ max\ \...
请用python写出支持向量机的分类学习模型
weixin_42592399的博客
02-08 114
： from sklearn import svm X = [[0, 0], [1, 1]] y = [0, 1] clf = svm.SVC(kernel='linear') clf.fit(X, y)
头歌·机器学习第2关线性支持向量机
最新发布
xiaolixiangmaifa的博客
09-30 551
乳腺癌数据集，其实例数量是569，实例中包括诊断类和属性，帮助预测的属性一共30个，各属性包括为radius 半径（从中心到边缘上点的距离的平均值），texture 纹理（灰度值的标准偏差）等等，类包括：WDBC-Malignant 恶性和 WDBC-Benign 良性。用数据集的80%作为训练集，数据集的20%作为测试集，训练集和测试集中都包括特征和诊断类。本关任务：使用sklearn实现线性支持向量机，并通过癌细胞数据中训练集对模型进行训练，再对测试集癌细胞数据进行识别。
sklearn学习——支持向量机分类
Chris683的博客
07-14 3331
基于python中sklearn库支持向量机多分类代码 1 数据集制作 小编看过很多关于支持向量机代码的博客，全是都带有自己数据集 像Iris.data，那么怎么把自己的数据给用上呢？ 1.1 、如图，这是自己需要使用的数据集，ABCD表示数据的特征，E表示样本，分别为0，1，2三种不同的标签，现在我们的任务是通过训练支持向量机模型，从而通过已有的数据特征，来识别样本类型 1.2、文件-另存为-选择csv文件格式 1.3 后续可以把444.csv后缀改成txt，这两种都可以使用，我下面使用的是txt，如
python sklearn 支持向量机_python_sklearn机器学习算法系列之SVM支持向量机算法
weixin_36096137的博客
02-09 765
本文主要目的是通过一段及其简单的小程序来快速学习python 中sklearn的svm这一函数库的基本操作和使用，注意不是用python纯粹从头到尾自己构建svm，既然sklearn提供了现成的我们直接拿来用就可以了，当然其原理十分重要，这里做简单介绍：SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间)，使得在原来的样本空间中非线性可分的问题...
skLearn 支持向量机
吴吃辣
08-13 528
版权所有，转帖注明出处 章节SciKit-Learn 加载数据集 SciKit-Learn 数据集基本信息 SciKit-Learn 使用matplotlib可视化数据 SciKit-Learn 可视化数据:主成分分析(PCA) SciKit-Learn 预处理数据 SciKit-Learn K均值聚类 SciKit-Learn 支持向量机 SciKit-Learn 速查 前面章节尝试了K均...
【Python-ML】SKlearn库支持向量机(SVM) 使用
医疗影像检索
01-15 937
# -*- coding: utf-8 -*- ''' Created on 2018年1月15日 @author: Jason.F @summary: Scikit-Learn库支持向量机分类算法 ''' from sklearn import datasets import numpy as np from sklearn.cross_validation import train_test
svc支持向量机分类模型、NuSVC支持向量机分类模型、sklearn.svm支持向量机分类模型
01-11
SVC支持向量机分类模型 `SVC`（Support Vector Classifier）是基于最大间隔策略的分类器，它寻找一个超平面最大化类别之间的间隔。在示例代码中，`kernel='linear'`表示使用线性核函数，即数据可以直接线性分离的...
python：支持向量机 分类模型
belldeep的专栏
10-17 1366
支持向量机 分类模型 iris_svm.py # coding=utf-8 from sklearn import datasets from sklearn.metrics import confusion_matrix,accuracy_score from sklearn.model_selection import train_test_split from sklearn import preprocessing # 加载鸢尾花数据集 iris_X,iris_y = datasets.lo.
SVM.zip_SVM分类_sklearn_支持向量机
09-24
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习模型，广泛应用于分类和回归任务。在机器学习领域，SVM以其优秀的泛化能力和处理小样本数据的能力而受到青睐。在Python的科学计算库scikit-learn...
利用sklearn实现支持向量机分类和预测模型
qq_38883271的博客
05-07 4114
数据集线性可分 from sklearn import svm from sklearn.model_selection import train_test_split import numpy as np from sklearn import metrics import matplotlib.pyplot as plt def loadDataSet(filename, delim...
基于python使用sklearn通过线性支持向量机进行二维数据划分
weixin_39017152的博客
05-28 1525
一年前楼主还是在用java做数据分析，现在说一下用python做大致如何去做。首先，python做数据有sklearn非常方便的包，集成了各种距离以及算法，这就意味着我们不需要花大笔的时间，使用tensorflow去创建模型和写算法了。对于使用python做数据的人来说，实在是方便了太多。这也导致了一个现象，就是使用python做数据，实现起来远比理解起来容易得多，可能内部的一些算法并不是理解的很...
机器学习算法[5]--支持向量机原理详解及sklearn实现
Gthan
06-30 1478
对机器学习算法-支持向量机进行总结，包括支持向量分类和支持向量回归原理详解和sklearn的实现
Python机器学习算法 — 支持向量机（SVM）
weixin_30407099的博客
06-28 883
SVM--简介 支持向量机（Support Vector Machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化...
[机器学习] - 支持向量机（五）： SVM程序 - Python
ZhuNian的学习乐园
07-01 557
支持向量机： [机器学习] - 拉格朗日乘子法与KKT条件. [机器学习] - 支持向量机（一）： 硬间隔支持向量机. [机器学习] - 支持向量机（二）： 软间隔支持向量机. [机器学习] - 支持向量机（三）： 序列最小优化算法(SMO算法). [机器学习] - 支持向量机（四）： 核函数. [机器学习] - 支持向量机（五）： SVM程序 - Python. 本文分成两个部分： （1）手动实现SVM的代码，包括硬间隔、软间隔、非线性支持向量机、SMO算法 （2）调用sklearn库中的SVM来实现支
sklearn实现支持向量机
zhilanguifang的博客
10-23 1112
使用sklearn实现支持向量机
机器学习sklearn-支持向量机
yzy_1117的博客
11-09 1026
支持向量机SVM 支持向量网络 可以做有监督学习、无监督学习、半监督学习 监督学习：线性二分类与多分类、非线性二分类与多分类、普通连续性变量的回归、概率型连续变量的回归 支持向量机 深度学习之外机器学习的天花板存在 SVM可以用来做图像分类和图像分割系统 使用支持向量机来识别用于模型预测的各种特征 支持向量机的分类方法，是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差接近于小，尤其是在位置数据集上的分类误差尽量小。 超平面：是一个空间的子控件，它是维度比所在空间小一维的空间，
sklearn.model_selection.train_test_split 将数据集分为8:2
HJ33_的博客
09-23 1151
使用pytorch，将 数据分为 训练：测试=8:2划分数据集的图解sklearn.model_selection.train_test_split 书写规范与参数含义这里举个例子运用到实际 划分数据集的图解 sklearn.model_selection.train_test_split 书写规范与参数含义 关于参数的含义 Parameters *arrayssequence of indexables with same length / shape[0] Allowed inputs a
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值