【机器学习】SVM 支持向量机

于 2024-09-22 16:39:40 发布
阅读量1k 收藏 23
点赞数 18
分类专栏： 机器学习 文章标签： 支持向量机 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pdsu_zhe/article/details/142438743
版权

【机器学习】SVM 支持向量机

1、支持向量机算法

1.1 支持向量机算法的基本思想

       支持向量机(Support Vector Machine，简称SVM)是一种常见的机器学习算法，其基本思想是在高维空间中构建一个超平面，用于分类或回归任务。
       具体而言，SVM首先将数据映射到高维空间，并在该空间中找到一个最优的超平面，使得该超平面能够将不同类别的数据点有效地分开。其中，对于最优超平面的定义是使得间隔最大化，即离超平面最近的数据点到超平面的距离最大化。这些最靠近超平面的样本点被称为支持向量。
       SVM最终分类的过程是将新的数据点映射到高维空间，并根据其位置与最优超平面的关系来进行分类。如果新数据点在超平面正侧，则属于正类；反之则属于负类。

1.2 支持向量机算法的基本思想

       支持向量机算法的分类过程主要包括以下几个步骤：

  1. 数据预处理：对原始数据进行特征提取和特征选择，将数据转化为合适的形式。
  2. 特征映射：将原始的特征空间通过某个映射函数映射到高维特征空间，使得数据在该空间中线性可分。
  3. 最优超平面的选择：在高维特征空间中寻找一个最优的超平面来将不同类别的样本点分开。其中最优超平面满足：离超平面最近的样本点到超平面的距离最大化。
  4. 支持向量的确定：确定最优超平面上的支持向量，即距离超平面最近的数据点。
  5. 分类：将新的样本点投影到高维特征空间中，并根据其位置（在最优超平面的哪一侧）和超平面来进行分类，即按照所在的类别标签进行打标。
           具体而言，在分类过程中，我们使用 SVM 学习得到的最优超平面对新样本进行分类。首先将新样本映射到高维特征空间中。然后，计算测试样本与最优超平面之间的距离（距离的计算是以超平面上的支持向量计算的）。如果该距离小于某个预设阈值，则将该测试样本分类为正类；否则，将该测试样本分类为负类。这个预设阈值就是 SVM 的决策边界(discriminative boundary)所对应的距离（或称为"裕度"，margin）。因此 SVM 对新样本的分类结果取决于它与决策边界（即分离超平面）之间的距离。
           总之，SVM 通过特征映射和最优超平面的选择，将不同类别的样本点分开，并在测试时，通过计算距离来对新的样本点进行分类。超平面实现分类效果、以及各个参数之间关系可参考下图。

在这里插入图片描述

1.3 支持向量机算法的模型构建过程

       SVM（Support Vector Machine）的模型构建流程通常包括以下步骤：

  1. 数据收集与预处理：收集相关数据并进行数据清洗、变换、标准化等预处理工作，以保证数据质量和可用性。
  2. 特征选择与提取：选择合适的特征变量作为模型输入，或者从现有特征中提取新的特征变量。特征选择和提取是 SVM 模型中非常关键的一环，它们往往对最终模型的表现产生重要影响。
  3. 训练数据集划分：将收集到的数据划分为训练数据集和测试数据集，以便在训练过程中验证模型的准确性和性能。
  4. 核函数和参数选择：选择合适的核函数和参数，这决定了 SVM 在特征空间中寻找决策边界的能力。常用的核函数有线性核、多项式核、高斯径向基核等，不同的核函数及其参数设定会影响模型的分类性能。
  5. SVM 模型训练：使用训练数据集进行模型训练，求解最优解，即找到合适的超平面和分类边界，使得两类样本之间的距离最大化，并且满足一定约束条件。
  6. 模型评估：使用测试数据集对模型进行性能评估，包括计算模型的准确率、召回率、F1 值等指标，以判断模型效果的好坏。
  7. 模型的调优和改进：根据评估结果，对模型进行调优和改进，包括优化模型参数、特征选择和提取方法等方面，以提高模型的泛化能力和分类性能。
  8. 模型应用：将优化后的 SVM 模型应用于实际问题中，进行样本分类和预测，以实现数据分析和决策支持等功能。图二展示了其中一个训练模型，图三则展示出常见的核函数。
    在这里插入图片描述
    在这里插入图片描述

2、使用Python语言编写支持向量机的源程序代码并分析

2.1 支持向量机SVM模型代码

2.1.1 计算SVM中使用的核函数calcKernelValue()

       用于计算核函数值的函数，其实现了线性核和径向基函数（RBF）核。该函数通过循环逐个计算每个样本与待测样本之间的核函数值，并将结果存储在一个数组中返回。这些核函数值将在后续步骤中用于计算支持向量机模型的决策边界和预测结果。

  1. 首先获取了输入矩阵 matrix_x 的总行数，即数据集中的样本数目 numSamples。
  2. 如果 kernelType 为 ‘linear’，那么就使用线性核函数计算 kernelValue，这里直接使用矩阵乘法计算所有训练样本与待计算样本的内积；
  3. 如果 kernelType 为 ‘rbf’，那么就使用径向基函数（RBF）核计算 kernelValue，这里计算每个训练样本与待计算样本之间的欧氏距离，并根据参数 sigma 计算出高斯核函数的值。
  4. 如果 kernelType 不是 ‘linear’ 或 ‘rbf’，则会抛出一个 NameError 异常。最后，该函数返回 kernelValue，即所有样本和待计算样本之间的核函数值。图4为SVM中核函数的具体实现：
    在这里插入图片描述

2.1.2 向量机（SVM）模型的训练和测试

       实现了一个支持向量机（SVM）模型的训练和测试。使用的是Sequential Minimal Optimization（SMO）算法来求解SVM的优化问题，其中包含了计算样本之间核函数值、选择优化参数、更新阈值等步骤。此外还有对于数据可视化和模型准确度计算的函数。需要注意的是，此段代码只适用二维数据的可视化。
       这段代码定义了一个SVMStruct类，用于存储SVM模型的相关参数和数据，其中包括：

参数含义
SVMStruct初始化创建存储变量和数据的结构体，并且初始化一些变量值
calcError函数计算优化参数的误差值
selectAlpha_j函数选择第二个优化参数
innerLoop函数SMO算法中的内循环，用于更新alpha的值
trainSVM函数整个SVM模型的训练过程
testSVM函数使用测试集来测试训练好的SVM模型的准确度
showSVM函数用于在二维数据上可视化SVM模型的结果

下图展示了其中innerLoop函数的核心代码：
在这里插入图片描述

2.1.3 SVM模型的测试代码

       这段代码实现对SVM算法的测试，具体包括以下步骤：

  1. 从文件’testSet.txt’中读取数据，并将其处理为Numpy矩阵类型，其中前80个样本作为训练数据train_x、train_y，后20个样本作为测试数据test_x、test_y。
  2. 使用SVM.trainSVM函数在训练数据集上训练SVM模型，得到svmClassifier。
  3. 使用SVM.testSVM函数对测试数据集进行测试，得到分类准确率accuracy。
  4. 使用SVM.showSVM函数展示SVM模型在二维空间内的分类结果。
    主要作用是对SVM算法的正确性进行验证，通过测试样例来检验实现是否正确和有效。图6则展示了这段代码的测试结果。
    在这里插入图片描述
    在这里插入图片描述

2.2 SVM的优缺点

2.2.1 SVM的优点

1、在高维空间中⾮常高效；
2、即使在数据维度⽐样本数量⼤的情况下仍然有效；
3、在决策函数（称为支持向量）中使用训练集的子集,因此它也是⾼效利用内存的；
4、通用性：不同的核函数与特定的决策函数⼀⼀对应；

2.2.2 SVM的缺点

1、SVM算法对于大规模数据处理较为困难，计算复杂度较高；
2、对于多分类问题，需要进行多次二分类，计算量较大；
3、对于不平衡数据集，SVM算法可能会出现过拟合的情况；

3、SVM支持向量机算法不同类型核函数的可视化

       SVM（支持向量机）可以使用不同类型的核函数来实现非线性分类和回归任务。以下是几种常见的核函数以及它们在 SVM 中的可视化方法：

3.1 线性核函数

       线性核函数是 SVM 默认的核函数，它对应于线性分类器。由于线性核函数没有进行任何映射操作，因此可视化时仍然是一个线性决策边界。下面是线性核函数的核心代码：

# 创建线性核函数的 SVM 分类器  
svc_classifier = svm.SVC(kernel='linear', C=1.0).fit(X, y)  
  
# 在网格点上进行预测并重塑结果  
Z = svc_classifier.predict(X_plot)  
Z = Z.reshape(xx.shape)

       图7展示了通过线性核函数的SVM分类器进行数据的预测以及可视化结果。

在这里插入图片描述

3.2 多项式核函数

       多项式核函数通过将输入特征映射到高维空间，将原始问题转换为在高维空间中线性可分的问题。可视化时，可以绘制决策边界，并在图中展示多项式核函数映射后的特征空间。下面是多项式核函数的核心代码：

# 创建多项式核函数的支持向量机分类器  
svc_classifier = svm.SVC(kernel='poly', degree=3, C=1.0)  
  
# 在网格点上进行预测并重塑结果  
Z = svc_classifier.predict(X_plot)  
Z = Z.reshape(xx.shape)

       图8展示了通过多项式核函数的SVM分类器进行数据的预测以及可视化结果。

在这里插入图片描述

3.3 径向基函数RBF

       高斯核函数是一种常用的非线性核函数，它通过计算数据点之间的相似度来建模非线性关系。可视化时，可以绘制决策边界，并使用颜色或等高线表示相似度。下面是径向基函数RBF的核心代码：

# 创建径向基函数核的支持向量机分类器  
svc_classifier = svm.SVC(kernel='rbf', C=1.0).fit(X, y)  
  
# 在网格点上进行预测并重塑结果  
Z = svc_classifier.predict(X_plot)  
Z = Z.reshape(xx.shape)

       图9展示了通过径向基函数的SVM分类器进行数据的预测以及可视化结果。
在这里插入图片描述

3.4 Sigmoid核函数

       Sigmoid 核函数通过将输入特征进行非线性映射，将二分类问题转化为一个非线性分类问题。可视化时，可以绘制决策边界，并在图中显示特征空间的非线性变换。下面是Sigmoid 核函数的核心代码：

# 创建sigmoid核函数的支持向量机分类器  
svc_classifier = svm.SVC(kernel='sigmoid', C=1.0)  
  
# 在网格点上进行预测并重塑结果  
Z = svc_classifier.predict(X_plot)  
Z = Z.reshape(xx.shape)

       图10展示了通过Sigmoid 核函数的SVM分类器进行数据的预测以及可视化结果。

在这里插入图片描述

慢热型网友.
关注
专栏目录
分类算法SVM（支持向量机)
牧野的博客
11-01 5万+
支持向量机（Support Vector Machine ,SVM）的主要思想是：建立一个最优决策超平面，使得该平面两侧距离该平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于一个多维的样本集，系统随机产生一个超平面并不断移动，对样本进行分类，直到训练样本中属于不同类别的样本点正好位于该超平面的两侧，满足该条件的超平面可能有很多个，SVM正式在保证分类精度的同时，寻找到这样
有监督分类：支持向量机分类
沈春旭的博客
06-12 7010
1.前言 上一篇主要研究了《最小二乘用于分类》也实现了模式识别。然而，虽然与错误分类率对应的0/1损失的间隔函数是单调非增的，但是L2损失并不是单调非增的，所以使用最小二乘学习法进行模式识别还是有些不自然。这里，再次综述一下支持向量机分类器，关于SVM的话题已经写了近10篇文章了。本文更偏重于介绍支持向量机分类器中所使用的损失概念，并且讨论支持向量机分类器向鲁棒学习进行拓展的方法。 2
【高性能计算】监督学习之支持向量机分类实验
最新发布
慢热型网友的博客
06-21 1958
然后，计算测试样本与最优超平面之间的距离（距离的计算是以超平面上的支持向量计算的）。(3) 如果 kernelType 为 ‘rbf’，那么就使用径向基函数（RBF）核计算 kernelValue，这里计算每个训练样本与待计算样本之间的欧氏距离，并根据参数 sigma 计算出高斯核函数的值。总之，SVM 通过特征映射和最优超平面的选择，将不同类别的样本点分开，并在测试时，通过计算距离来对新的样本点进行分类。需要注意的是，SVM的参数设定与数据集密切相关，需要针对不同的数据集进行调整。
机器学习——SVM支持向量机实验
匿名用户
10-10 2203
实验2：支持向量机 介绍 在本实验中，将使用支持向量机(Support Vector Machine, SVM)并了解其在数据上的工作原理。 本次实验需要用到的数据集包括： ex2data1.mat -线性SVM分类数据集 ex2data2.mat -高斯核SVM分类数据集 ex2data3.mat -交叉验证高斯核SVM分类数据集 评分标准如下： 要点1：使用线性SVM-----------------（20分） 要点2：定义高斯核---------------------（20分） 要点3：使用
支持向量机分类实战
weixin_34010566的博客
10-17 1429
更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloud 支持向量机（SVM）是一个非常强大和灵活的机器学习模型，能够执行线性或非线性的分类，回归，甚至异常值检测。它是机器学习中最受欢迎的有监督学习模式之一，任何对ML感兴趣的人都应该对其有所了解，并且能够掌握其使用方法。SVM特别适用于复杂但数据集属于中小型的分类。 SV...
机器学习SVM支持向量机实验报告.pdf
04-03
支持向量机（Support Vector Machine，SVM）是一种在机器学习领域广泛应用的监督学习算法，尤其在二分类问题上表现出色。它通过寻找一个能够最大程度地将两类样本分开的超平面来实现分类。这个超平面定义了两类样本...
OpenCV机器学习SVM支持向量机的分类程序.pdf
09-26
OpenCV机器学习SVM支持向量机的分类程序 本文档主要介绍了使用OpenCV实现支持向量机（SVM）分类程序的步骤和代码实现。SVM是机器学习领域中的一种常用算法，能够实现分类、回归、异常检测等任务。 首先，我们需要...
机器学习——支持向量机SVM算法完整实战源码
05-16
基于Python和sklearn机器学习库实现的支持向量机算法使用的实战案例。 使用jupyter notebook环境开发。 支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据...
机器学习SVM(支持向量机)实验报告.pdf
06-14
支持向量机（Support Vector Machine，简称SVM）是一种监督学习模型，尤其在二分类问题上表现突出。它的核心思想是在特征空间中找到一个能够最大程度地将两类样本分开的超平面。这个超平面是由支持向量决定的，这些...
支持向量机分类实验
哪有什么合适不合适的博客
11-02 758
一、实验要求 在计算机上验证和测试莺尾花数据的支持向量机分类实验，sklearn的支持向量机分类算法。 二、实验目的 1、掌握支持向量机的原理 2、能够理解支持向量机分类算法； 3、掌握sklearn的支持向量机分类算法； 三、实验内容 实验步骤 1.请参考LinearSVC.pdf文档，将莺尾花的数据替换为make_blobs自动生成两个测试数据集（一个是两个类别数据完全分离，另一个是两个类别数据有很少部分的交叉），对比KNN,贝叶斯，决策树，随机森林还有LinearSVC的分界边界线的区别。 数据集：
支持向量机实验.pdf
01-16
支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）
实验5-支持向量机分类实验.doc
10-31
1、掌握支持向量机的原理 2、能够理解支持向量机分类算法； 3、掌握sklearn的支持向量机分类算法；
SVM支持向量机分类
05-31
用matlab编程实现支持向量机分类，核函数选取，超平面建立等
实践 | 支持向量机实现分类
jiangti_ng的博客
03-21 2514
本实践使用SVM算法实现鸢尾花的分类
监督分类-支持向量机分类法
m0_46527440的博客
06-19 7685
最近跟着老师做课题，一个关于积雪的课题，我处理的部分是对积雪图片的二值化，从而得到控制点区域内积雪与掉落物的比例。在经过多次摸索后，决定使用监督分类中的SVM(支持向量机分类法)分类，效果很不错。在之后的数据就使用这个算法。 监督分类(Supervised Classification)又称训练场地法，它基于训练样本以概率统计理论为基础，即在具有遥感影像样本区分类类别属性的先验知识基础上，采集训练区的样本创建训练分类器，进而对整幅影像进行类型划分，将每个像元归并到对应的类别中。 监督分类一般分为三个步骤:1
机器学习——支持向量机（SVM）实验
freezing_00的博客
04-26 5135
一、实验目的 （1）掌握支持向量机模型 SVM 的原理和使用方法。 二、实验内容 保持公司的员工满意的问题是一个长期存在且历史悠久的挑战。如果公司投入了大量时间和金钱的员工离开，那么这意味着公司将不得不花费更多的时间和金钱来雇佣其他人。以 IBM 公司的员工流失数据集（HR-Employee-Attrition.csv）作为处理对象，使用第三方模块sklearn 中的相关类来建立支持向量机模型，进行 IBM员工流失预测。要求： 1）对数据集做适当的预处理操作； 2）划分 25%的数据集作为测试数据； 3）输
【机器学习实验六】支持向量机（SVM）
一个正在努力学习的iter
12-24 9928
一、相关概念 1.1、什么是支持向量机 支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 1.2、一个线性相关的例子 下面举个简单的例子，如下图所示，现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。由于这些数据是线性可分的，所以可以用一条直线将这两类数据分开，这条直线就相当于一个超平面，超平面一边的数据点所对应的y全是-1，另一边所对应的y全是..
【机器学习原理】SVM支持向量机分类算法
热门推荐
ZhShy
02-03 1万+
文章目录一、支持向量机：线性分类器的“王者”1. 距离2. 支持向量3. 从更高维度看“线性不可分”二、支持向量机分类的算法原理1. 基本思路(1) 最大间隔(2) 高维映射(3) 核函数(4) 支持向量机的真正运行机制(5) 核技巧2. 数学解析(1) 点到超平面的距离(2) 间隔最大化(3) 核函数3. 具体步骤三、在Python中使用支持向量机分类算法四、支持向量机分类算法的使用场景 一、支持向量机：线性分类器的“王者” 最大间隔 高维映射 核方法 1. 距离 我们已经从用线性回归套S型马甲（lo
机器学习中的数学 ch12：支持向量机分类（Classification with Support Vector Machines）
weixin_45315656的博客
07-25 798
文章目录 在机器学习中，有一种分类问题，这种分类问题只有两个预测结果，是或否，即： f:RD→{0,1}f:\mathbb R^D\rightarrow \{0,1\}f:RD→{0,1} 为了计算方便，我们使用0，1来表示两种分类的结果，这种分类问题被称为二元分类（Binary Classification）。本章节就是主要介绍用支持向量机（Support Vector Machine，SVM）来解决这种分类问题。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

慢热型网友.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值