三、支持向量机算法(SVC，Support Vector Classification)（有监督学习）

已于 2023-10-03 15:36:02 修改
阅读量3k 收藏 25
点赞数 2
分类专栏： 经典机器学习分类算法总结 文章标签： 算法 支持向量机 学习
于 2023-09-20 11:18:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41264055/article/details/133063422
版权

支持向量机Support Vector Machine，就是所谓的SVM，它指的是一系列的机器学习算法，根据解决问题的不同，分为SVC(分类)和SVR(回归)

SVC，Support Vector Classification，其本质也是支持向量机support vector，只不过是用于分类classification任务
SVR，Support Vector Regression，其本质也是支持向量机support vector，只不过是用于回归Regression任务
本专栏主要是分类算法的总结，主要介绍SVC

C-Support Vector Classification（C-支持向量分类器）其实现基于libsvm。拟合时间至少与样本数成二次方关系，超过数万个样本后可能就不可行了。对于大型数据集，可以考虑使用 LinearSVC或SGDClassifier，可能的话，在使用Nystroem变换器或其他内核近似方法后再使用。

一、算法思路

以二分类任务为例，有两类不同的样本数据，新来一个样本，对其进行归类划分；下面是一些核心概念，用我自己的大白话进行描述

寻找一条线，可以将这两个类别的样本数据进行划分，这条线称之为决策边界
以决策边界为中心，分别向两边进行平移，触碰到样本点为止，这两条线之间的间隔称为margin(间隔)；所触碰到的样本点称为支持向量
最终变成寻找margin最大问题

决策边界：找到一个可以划分这两个类别数据的一条线(二维)，或者一个超平面(三维)等
间隔：以决策边界为中心向两边平移，直到碰到最近的样本点为止，这两条线之间的距离就是margin(间隔)
支持向量：以决策边界为中心向两边平移，这两条线所碰到的样本点被称为支持向量
硬间隔：死板的间隔，严格按照算法求解思路进行操作得到的间隔
软间隔：灵活的间隔，若来了一个异常点或者噪点，可以根据正则化进行限制，得到一个合乎

这里的蓝色噪点更应该属于五边形类别，但是它在数据集样本中是五角星类别，该样本是个噪点，会影响正常的分类，需要进行排除，此时就引入了软间隔，降低该噪点的影响。
在这里插入图片描述

二、官网API

官网API

class sklearn.svm.SVC(*, C=1.0, kernel='rbf', degree=3, gamma='scale', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape='ovr', break_ties=False, random_state=None)

这里的参数还是比较多的，具体的参数使用，可以根据官网给的demo进行学习，多动手尝试；这里就以一些常用的参数进行说明。
导包：from sklearn.svm import SVC

①正则化参数C

正则化强度与正则化参数C成反比，惩罚是L2正则化的平方，C是一个浮点数类型

具体官网详情如下：
在这里插入图片描述

使用方式

SVC(C=2.0)

②核函数kernel

‘linear’：线性核函数，速度快；只能处理数据集样本线性可分，不能处理线性不可分。
‘poly’：多项式核函数，可将数据集样本升维，从低维空间映射到高维空间；参数较多，计算量大
‘rbf’：高斯核函数，和多项式核函数一样，可将样本升维；相较于多项式核函数来说，参数较少；默认值
'sigmoid’：sigmoid 核函数；当选用 sigmoid 核函数时，SVM 可实现的是多层神经网络
‘precomputed’：核矩阵；使用用户给定的核函数矩阵(n*n)
也可以自定义自己的核函数，然后进行调用即可

具体官网详情如下：
在这里插入图片描述

使用方式

SVC(kernel='sigmoid')

③多项式核函数的阶数degree

多项式核函数的阶数；该参数只对多项式核函数(poly)有用；若是其他的核函数，系统会自动忽略该参数

具体官网详情如下：
在这里插入图片描述

使用方式

SVC(kernel='ploy',degree=2)

④核系数gamma

rbf、poly 和 sigmoid核函数的核系数，该参数只针对这三个核函数，需要注意
‘scale’：默认值，具体的计算公式看下面的详细官网详情
‘auto’：具体的计算公式看下面的详细官网详情
或者是其他的浮点数均可

具体官网详情如下：
在这里插入图片描述

使用方式

SVC(gamma='auto')

⑤随机种子random_state

如果要是为了对比，需要控制变量的话，这里的随机种子最好设置为同一个整型数

具体官网详情如下：
在这里插入图片描述

使用方式

SVC(random_state=42)

⑥最终构建模型

SVC(C=3.0,kernel=‘sigmoid’,gamma=‘auto’,random_state=42)

三、代码实现

①导包

这里需要评估、训练、保存和加载模型，以下是一些必要的包，若导入过程报错，pip安装即可

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt
import joblib
%matplotlib inline
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import confusion_matrix, classification_report, accuracy_score

②加载数据集

数据集可以自己简单整个，csv格式即可，我这里使用的是6个自变量X和1个因变量Y
在这里插入图片描述

fiber = pd.read_csv("./fiber.csv")
fiber.head(5) #展示下头5条数据信息

在这里插入图片描述

③划分数据集

前六列是自变量X，最后一列是因变量Y

常用的划分数据集函数官网API：train_test_split
在这里插入图片描述
test_size：测试集数据所占比例
train_size：训练集数据所占比例
random_state：随机种子
shuffle：是否将数据进行打乱
因为我这里的数据集共48个，训练集0.75，测试集0.25，即训练集36个，测试集12个

X = fiber.drop(['Grade'], axis=1)
Y = fiber['Grade']

X_train, X_test, y_train, y_test = train_test_split(X,Y,train_size=0.75,test_size=0.25,random_state=42,shuffle=True)

print(X_train.shape) #(36,6)
print(y_train.shape) #(36,)
print(X_test.shape) #(12,6)
print(y_test.shape) #(12,)

④构建SVC模型

参数可以自己去尝试设置调整

svc = SVC(C=3.0,kernel='sigmoid',gamma='auto',random_state=42)

⑤模型训练

就这么简单，一个fit函数就可以实现模型训练

svc.fit(X_train,y_train)

⑥模型评估

把测试集扔进去，得到预测的测试结果

y_pred = svc.predict(X_test)

看看预测结果和实际测试集结果是否一致，一致为1否则为0，取个平均值就是准确率

accuracy = np.mean(y_pred==y_test)
print(accuracy)

也可以通过score得分进行评估，计算的结果和思路都是一样的，都是看所有的数据集中模型猜对的概率，只不过这个score函数已经封装好了，当然传入的参数也不一样，需要导入accuracy_score才行，from sklearn.metrics import accuracy_score

score = svc.score(X_test,y_test)#得分
print(score)

⑦模型测试

拿到一条数据，使用训练好的模型进行评估
这里是六个自变量，我这里随机整个test = np.array([[16,18312.5,6614.5,2842.31,25.23,1147430.19]])
扔到模型里面得到预测结果，prediction = svc.predict(test)
看下预测结果是多少，是否和正确结果相同，print(prediction)

test = np.array([[16,18312.5,6614.5,2842.31,25.23,1147430.19]])
prediction = svc.predict(test)
print(prediction) #[2]

⑧保存模型

svc是模型名称，需要对应一致
后面的参数是保存模型的路径

joblib.dump(svc, './svc.model')#保存模型

⑨加载和使用模型

svc_yy = joblib.load('./svc.model')

test = np.array([[11,99498,5369,9045.27,28.47,3827588.56]])#随便找的一条数据
prediction = svc_yy.predict(test)#带入数据，预测一下
print(prediction) #[4]

完整代码

模型训练和评估，不包含⑧⑨。

from sklearn.svm import SVC
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

fiber = pd.read_csv("./fiber.csv")
# 划分自变量和因变量
X = fiber.drop(['Grade'], axis=1)
Y = fiber['Grade']
#划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, Y, random_state=0)

svc = SVC(C=3.0,kernel='sigmoid',gamma='auto',random_state=42)
svc.fit(X_train,y_train)#模型拟合
y_pred = svc.predict(X_test)#模型预测结果
accuracy = np.mean(y_pred==y_test)#准确度
score = svc.score(X_test,y_test)#得分
print(accuracy)
print(score)

test = np.array([[23,97215.5,22795.5,2613.09,29.72,1786141.62]])#随便找的一条数据
prediction = svc.predict(test)#带入数据，预测一下
print(prediction)
beyond谚语
关注
  • 2
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
SVC产品实现过程
09-28
SVC产品实现过程（依据现在的状态做出） 序 主要过程 责任部门 协助部门 输出文件 基本要求 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 信息 N Y ？？ N Y Y N Y N Y N Y N Y 供应 部 件 ？？？ 市场部 ? ? 市场部 市场部 质量部 市场部 供应部 SVC部 工程部 质量部 质量部 供应部 生产部 SVC部 质量部 生产部 生产部 SVC部 质量部 生产部 市场部 工程部 工程部 SVC部 SVC部 SVC部 市场部 SVC部 工程部 SVC部 工程部 SVC部 工程部 SVC部 工程部 SVC部 供应部 市场部 工程部 生产部 SVC部 工程部 生产部 供应部 SVC部 工程部 供应部 市场部 生产部 质量部 SVC部 工程部 生产部 供应部 市场部 SVC部 供应部 SVC部 供应部 质量部 生产部 质量部 SVC部 生产部 SVC部 供应部 质量部 质量部 生产部 质量部 SVC部 生产部 市场部 质量部 生产部 SVC部 供应部 工程部 ？？？ 记录 系统方案 标书 评审记录 商务合同书 评审记录 会议决议 设计任务书 采购合同 技术文件 图纸 维护手册 使用手册 工艺文件 检验文件 工程图纸 评审记录 会议决议 检验记录 入库单 出库单 帐本 装配记录 调试记录 检验记录 装配记录 外观检验记录 调试记录 检验记录 检验报告 出厂合格证 装箱单 运输合同 交接单 施工记录 施工记录 技术交底记录 设备移交记录 工程竣工报告 接线记录 调试记录 验收报告 信息联络单 （见管理文件的编号）
ENVI实现最小距离法、最大似然法、支持向量机遥感图像监督分类与分类后处理操作
疯狂学习GIS的博客
05-31 1万+
本文介绍基于ENVI软件，实现最小距离法、最大似然法与支持向量机三种遥感图像监督分类方法的具体操作，同时进行分类后处理操作，并对不同分类方法结果加以对比分析~
机器学习之SVC案例
最新发布
qq_52266105的博客
03-06 277
代码如下：importnumpyasnpimportpandasaspd'data.csv'headerNone获取样本特征数据022数据可视化importaspltfromimportSVCdefdram_svm(x_datay_dataC=1.0):0x_data[:1c=y_data)0xlim[15000ylim[1500xxyl)kernel'linear'C=C)y_data)yycolors。
SVM--支持向量机
1
09-16 1076
一、简介 支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括： （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机； （2）当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机； （3）当训练样本线性不可分时...
机器学习算法（一）SVM
热门推荐
学习 & 分享 ~
06-02 25万+
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。SVM 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出，目前的版本（soft margin）是由 Corinna Cortes 和 Vapnik 在1
模糊和区间值模糊非并行支持向量机
03-15
利用模糊集理论（FS），区间值模糊集理论（IVFS）和非并行支持向量机理论（NPSVM），模糊非并行支持向量机（F-NPSVM）和区间值模糊非并行支持向量机。 （IVF-NPSVM）已构建。 F-NPSVM和IVF-NPSVM都在模型中考虑了训练点的隶属度，区别在于确定训练点的方法。 在人工数据集和基准数据集上的实验表明，使用F-NPSVM和IVF-NPSVM进行的大多数分类结果比NPSVM，支持向量机（SVM）更为准确。 ，区间值模糊支持向量机（IVF-SVM），广义特征值近端支持向量机（GEPSVM）和双支持向量机（TWSVM）。 最后，使用Friedman检验来验证两个新模型与以前的模型之间存在显着差异。
SVC的模型评估指标
sshi9的博客
03-18 3373
混淆矩阵 混淆矩阵是二分类问题的多维衡量指标体系，在样本不平衡时极其有用。在混淆矩阵中，我们将少数类认为是正 例，多数类认为是负例。在决策树，随机森林这些普通的分类算法里，即是说少数类是1，多数类是0。在SVM里， 就是说少数类是1，多数类是-1。普通的混淆矩阵，一般使用{0,1}来表示。 混淆矩阵中，永远是真实值在前，预测值在后。其实可以很容易看出，11和00的对角线就是全部预测正确的，01 和10的对角线就是全部预测错误的。 模型整体效果：准确率 准确率Accuracy就是所有预测正确的
SVC模型评估指标与ROC曲线
weixin_60200880的博客
10-29 3092
样本不均衡是只在一组数据集中，标签的其中一类占有很大的比例，但我们有着捕捉特定的分类需求的状况。比如，我们现在要对潜在犯罪者和普通人分类，潜在犯罪者占总人口的比例是相当低的，也许只有2%左右，98%的人都是普通人，而我们的目标是找出潜在犯罪者。这样的标签分布会带来许多问题：因为对于模型而言，样本量越大的标签可以学习的信息越多，算法就会更加依赖于从多数类中学到的信息来判断。如果我们希望捕获少数类，模型就会失败，
10- SVM支持向量机 (SVC) (算法)
March_A的博客
02-13 3174
支持向量机是一种二分类算法，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，如果对应的样本特征少，一个普通的 SVM 就是一条线将样本分隔开，但是要求线到两个类别最近样本点的距离要最大。就是在寻找一个最优的决策边界（上图中的两条虚线）来确定分类线b，所说的支持向量就是距离决策边界最近的点（上图中p1、p2、p3点，只不过边界穿过了这些点）。如果没有这些支持向量点，b线的位置就要改变，所以SVM就是根据这些支持向量点来最大化margin，来找到了最优的分类线。
机器学习sklearn----支持向量机SVC模型评估指标
weixin_43776305的博客
12-15 4894
文章目录前言混淆矩阵指标1准确率指标2精确度指标3召回率指标4F1-measure指标5假负率指标6特异度指标7假正率sklearn中的混淆矩阵 前言 前面一篇博文介绍了SVC处理二分类问题是怎么样来解决样本不均衡。这里我们要来将用什么指标来衡量模型的好坏 SVC提供的接口score是计算模型的准确率的，这个指标在样本均衡的情况下是完全适用的， 但是在遇到样本不均衡问题的时候就失去了意义，而我们日常面对的数据会有较多的不均衡， 面对这样的问题，我们需要采用新的模型评估指标，而我们的评估指标需要能够反映模型捕
08-SVM支持向量机(SVC)
March_A的博客
12-17 1098
支持向量机（support vector machines,SVM）是一种二分类算法，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，如果对应的样本特征少，一个普通的SVM就是一条线将样本分隔开，但是要求线到两个类别最近样本点的距离要最大。支持向量机SVM算法就是在寻找一个最优的决策边界（上图中的两条虚线）来确定分类线b，所说的支持向量（support vector）就是距离决策边界最近的点（上图中p1、p2、p3点，只不过边界穿过了这些点）。
支持向量数据描述Support Vector Data Description (SVDD)
03-31
4、支持基于贝叶斯超参数优化、遗传算法和粒子群算法的 SVDD 的参数优化 5、支持加权的 SVDD 资源使用事项： 1、提供了多个示例文件，每个文件的开头都有对应的介绍 2、需要 R2016b 以上的 MATLAB 版本 3、内含详细...
Twin Support Vector Machines for Pattern Classification.pdf
02-13
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, ...Index Terms—Support vector machines, pattern classification, machine learning, generalized eigenvalues, eigenvalues, eigenvectors.
机器学习之SVM
RosebudTT的博客
05-20 600
请
webrtc QOS方法三（SVC实现）
CrystalShaw的博客
07-25 1万+
一、概念 SVC（可适性视频编码或可分级视频编码）是传统H.264/MPEG-4 AVC编码的延伸，可提升更大的编码弹性，并具有时间可适性（Temporal Scalability）、空间可适性（Spatial Scalability）及质量可适性（SNR/Quality/Fidelity scalability）三大特性，使视频传输更能适应在异质的网络带宽。 二、概述 SVC以AVC视频编...
K8s基础8——svc基础使用、应用暴露、iptables代理、ipvs代理
百慕卿君博客
05-08 4465
1、service概念和基础使用，支持协议类型。 2、应用暴露，ClusterIp、NodePort、LoadBalancer。 3、svc负载均衡之iptables代理、ipvs代理。
机器学习：支持向量机SVM的SVC和SVR
weixin_48293076的博客
11-19 3143
机器学习：支持向量机SVM的SVC和SVR
支持向量机（三）二分类SVC中样本不均衡问题+SVC模型的评估指标（混淆矩阵+ROC曲线相关问题）
weixin_51589123的博客
11-05 4277
文章目录1 二分类SVC中的样本不均衡问题：重要参数class_weight1.1 SVC的参数：class_weight1.2 SVC的接口fit的参数：sample_weight2 SVC的模型评估指标2.1 混淆矩阵confusion matrix2.1.1 模型的整体效果：准确率2.1.2 捕捉少数类的艺术：Precision和Recall、F1 score2.1.3判错多数类的考量：特异度与假正率2.1.4 sklearn中的混淆矩阵2.2 ROC曲线相关问题2.2.1 概率和阈值2.2.2 SV
支持向量机
m0_66109479的博客
12-18 911
换句话说，由于支持向量计算法的最终决策函数只由少数的支持向量所确定，所以计算的复杂性取决于支持向量的数目，而不是样本空间的维数。如果n较小，而m较大，例如n在1-1000之间，而m大于50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机。经典的支持向量机算法只给出了二分类的算法，而在数据挖掘的实际应用中，一般要解决多分类问题，但支持向量机对于多分类问题解决效果并不理想。w是参数，垂直与决策边界，x是特征向量，与数据集有关，b是截距。
孪生支持向量机代码python
12-09
孪生支持向量机是一种用于处理成对数据的机器学习算法，它可以用来解决诸如人脸识别、指纹匹配等问题。在Python中，你可以使用Scikit-learn库来实现孪生支持向量机模型。 首先，你需要安装Scikit-learn库，你可以使用pip来进行安装： ``` pip install scikit-learn ``` 接下来，你可以使用以下代码来实现孪生支持向量机模型： ```python from sklearn import svm import numpy as np # 创建训练数据 X = np.array([[0, 0], [1, 1]]) y = np.array([0, 1]) # 初始化模型 model = svm.SVC(gamma='scale') # 训练模型 model.fit(X, y) # 进行预测 print(model.predict([[2., 2.]])) ``` 在这段代码中，我们首先导入了svm模块，并且创建了一个包含两组数据的X和y。然后，我们初始化了一个SVC（Support Vector Classification）的模型，并使用fit方法来训练模型。最后，我们使用predict方法来进行预测，并输出结果。 这就是使用Python实现孪生支持向量机的基本步骤。当然，实际应用中，你可能需要对数据进行预处理、调参等操作，但以上代码可以作为你开始学习孪生支持向量机的起点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

beyond谚语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值