机器学习——支持向量机SVM实例（兵王问题，SVM求解步骤以及思路，不求解不编程）

最新推荐文章于 2024-01-23 11:56:48 发布
最新推荐文章于 2024-01-23 11:56:48 发布
阅读量6.6k 收藏 73
点赞数 9
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45769063/article/details/106583591
版权

目录

 

一、问题描述（兵王问题）

二、步骤

1、获得数据

2、样本划分（训练样本和测试样本）

3、训练样本得到SVM模型

​ 1）数据处理

2）训练样本和测试样本归一化

3）选择核函数和调参

4）明确任务

5）训练方法——交叉验证

6）参数的设置

3、获得训练后的参数

>>>问题1：为什么要获得这些参数呢？

4、测试结果分析

1）二元分类一般要将测试结果分为四种情况（TP\FN\TN\FP）

2)测试样本测试结果

5、对模型系统进行评价——ROC曲线

1）测试数据的流程：

>>>问题2：若正样本数不够多该怎么办？

2）提升系统性能的办法

3）ROC曲线

>>>问题3：怎么通过ROC曲线去评价一个系统的优劣？

4）系统性能评价指标1：有一个指标就是当FP接近0的时候，TP的大小

5）系统性能评价指标2：曲线所包含的面积（AUC）

6)   系统性能评价指标3：等容错率（EER）

一、问题描述（兵王问题）

国际象棋中，一方一个王一个兵，另一方一个王，用SVM来解决是和局还是将死的结果

 

二、步骤

1、获得数据

这里使用的是早期别人用过的数据集

 

2、样本划分（训练样本和测试样本）

3、训练样本得到SVM模型

用下面的工具包对从总样本划分出来的训练样本进行训练

1）数据处理

因为电脑只认得数字所以，将a,b,c,d...用数字表示，如a=1,b=2,如此类推，标签也是：draw =  -1,one-fifteen = 1（-1表示和局，1表示将死）

2）训练样本和测试样本归一化

3）选择核函数和调参

当不知道选择什么核函数的时候，我们就选择高斯核

这里的参数有两个，一个是C，一个是gamma，如何确定这两个参数？通过对偶问题中的目标函数来对两个参数在他们的取值范围内按照一定的步长逐一进行测试，取最优作为两个参数的最终取值，如下C和gamma的组合有21x19，步长为2

4）明确任务

已知——5000个训练样本（包含样本数据和每个数据对应的标签）

未知、任务——C、gamma参数，通过训练样本训练出SVM模型

5）训练方法——交叉验证

将5000个样本随机均分为5组（5——fold），5组名字分别为a,b,c,d,e，每次拿4组数据作为训练模型，1组用于测试，每组数据进行轮换测试，最后模型的辨识率取五次测试辨识率的均值

组数越多，越精确，但是训练时间多，因此需要进行权衡

这里涉及到了两个循环，一个循环是遍历所有的C和gamma，一个循环是将训练样本分成5组轮换进行训练测试

6）参数的设置

3、获得训练后的参数

>>>问题1：为什么要获得这些参数呢？

答：C和gamma确定了对偶问题模型

支持向量的个数可以通过经验来判断训练的好坏，若支持向量过多则没有训练好

通过b和α我们可以对测试样本进行分类，其中α是通过对偶问题求解所得

4、测试结果分析

5000样本用于了训练，那么剩下的样本则用于测试，通常训练的样本不能拿来测试，因为模型本来就是通过训练样本进行创建的，我们的目的是用训练得到的模型对其他样本进行分类，考察的是模型的学习能力，类似于学习过程中的知识迁移

1）二元分类一般要将测试结果分为四种情况（TP\FN\TN\FP）

2)测试样本测试结果

识别率一般不用来作为系统优劣的判断依据，因为不够准确，一般是通过ROC来进行判断

5、对模型系统进行评价——ROC曲线


 

1）测试数据的流程：

​

>>>问题2：若正样本数不够多该怎么办？

答：将阈值调小，就会有更多被错误识别为负样本的正样本被正确地识别为正样本，即TP增大，同时NP也会增大，这样的话系统的性能也会得到提升

​

2）提升系统性能的办法

方法1：在模型还没有确定的情况下，通过寻找一组更好的α和b来创建模型；

方法2：在模型确定的情况下，即α和b一定的情况下，我们可以通过适当地调小阈值来达到系统性能提升的效果

3）ROC曲线

理论依据：

​

曲线绘制 ：根据上图的①②③关系进行绘制TP-FP曲线

​

>>>问题3：怎么通过ROC曲线去评价一个系统的优劣？

答：在回答这个问题之前，我们得清楚TP和FP，TP指的是将正样本正确的识别为正样本，FP是将负样本错误地识别为正样本。

4）系统性能评价指标1：有一个指标就是当FP接近0的时候，TP的大小

指标1：有一个指标就是当FP接近0的时候，TP的大小可以用来评价一个系统的优劣，越大越好，因为识别率高。但是大多数情况下不能只看这一项指标，还要看一下总的走势，如下图所示：

在FP=0的时候，红色线系统TP很高，但是蓝线TP=0，而到了后面，相同的FP下，蓝色线的TP大于红色线的TP，这样的两个系统无法直接判断出哪个系统更优。

但是在兵王问题中的ROC曲线，对任意相同的FP下，蓝色线所代表的系统的TP都要大于等于其他系统，因此蓝色线所代表的系统肯定在这四个系统中是最优的！

5）系统性能评价指标2：曲线所包含的面积（AUC）

面积越大，系统越优

6)系统性能评价指标3：等容错率（EER）

EER越小，系统性能越好

有情怀的机械男
关注
  • 9
    点赞
  • 踩
  • 73
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
机器学习——支持向量机(SVM)
Ascons的博客
12-18 6251
支持向量机是一种强大的机器学习算法，用于分类和回归。它通过最优超平面来分隔不同类别的样本，并具有较好的泛化能力和鲁棒性。然而，SVM在计算复杂度和参数选择方面存在挑战。在实际应用中，需要适当调整参数和进行模型优化。
支持向量机SVM——简单实例应用
最新发布
fjstjsjg的博客
06-11 1758
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考支持向量机（Support Vector Machine，SVM）是一种常见的监督学习算法，用于分类和回归任务。SVM的目标是构建一个能够将不同类别的数据点尽可能正确地分隔开的决策边界。核函数是支持向量机（SVM）中的一种技术，用于将数据从原始特征空间映射到另一个高维特征空间。
机器学习——支持向量机（SVM）
2301_78630677的博客
09-06 1万+
支持向量机（SVM）是一种常见的机器学习方法，常用于分类（线性和非线性分类问题），回归问题。本文将详细介绍一下支持向量机算法。本文在SVM算法原理介绍中：从开始的SVM介绍，到Kernel的介绍，再到算法和核函数的选择，之后就是算法的步骤，以及分类和回归的选择；在代码实现中：亦是分别对SVM中的回归（SVR)和分类（SVC）用代码实现，并可视化结果。 关关雎鸠，在河之洲 --2023-9-4 筑基篇
机器学习：支持向量机（SVM）
热门推荐
燕双嘤
11-06 17万+
1，概述 1.1，概念 支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SV
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
机器学习模型3——支持向量机SVM
littleyy666的博客
09-21 3446
机器学习模型3——SVM
机器学习算法 08 —— 支持向量机SVM算法(核函数、手写数字识别案例)
zcy的博客
08-26 1万+
文章目录系列文章支持向量机SVM算法1 SVM算法简介1.1 引入1.2 算法定义2 SVM算法原理2.1 线性可分支持向量机2.2 SVM计算过程与算法步骤(有点难，我也没理解透，建议跳过)推导目标函数目标函数求解拉格朗日乘数法对偶问题整体流程确定3 SVM的损失函数4 SVM的核方法4.1 什么是核函数4.2 常见核函数5 SVM回归6 SVM算法API介绍6.1 SVM算法API综述6.2 SVC6.3 NuSVC6.4 LinearSVC7 案例：数字识别器7.1 案例背景介绍7.2 数据介绍7.3
机器学习——支持向量机基本型（SVM）及对偶问题推导
2301_82047153的博客
01-23 2263
1.点到直线的距离公式：设直线过点，方向向量为，由图1看出，点到直线的距离是以为邻边的平行四边形的底边上的高，因此有。在直角坐标系中点到平面的距离为:2.支持向量：假设超平面能将训练样本正确分类，即对于，若，则有；若，则有。令距离超平面最近的几个训练样本使得上式成立，我们称之为支持向量。3.线性规划标准型：对于约束矩阵，线性规划的规范形式为：4.拉格朗日乘数法：对于前面定义中所设的一般目标函数和约束条件组, 应引入辅助函数称此函数为拉格朗日函数, 其中。
机器学习算法——支持向量机SVM3(对偶问题)
Vicky_xiduoduo的博客
04-20 1578
上节介绍了如何推导出支持向量机的基本型，这节我们对基本型进行求解。 基本型（也称为“原问题”）为： （公式3.1） 我们希望求解上述式子得到大间隔划分超平面所对应的模型 其中，w和b是模型参数。注意到 公式3.1 是一个凸二次规划问题。 ================================================================= 补充知识区： 凸函数的定义：对区间[a,b]上定义的函数f，若它对区间中任意两点x1和x2均有： 则称f在区..
机器学习面试题——支持向量机SVM
weixin_46838716的博客
04-23 1607
SVM既在面试中考，也在笔试中考
OpenCV机器学习——支持向量机SVM
01-27
本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关函数，并且用十分简单的训练数据作为例子实现分类。 对于OpenCV的机器学习分类器，大多换汤不换药，构造方法和实现方法很类似，基本遵循...
机器学习——支持向量机SVM算法完整实战源码
05-16
基于Python和sklearn机器学习库实现的支持向量机算法使用的实战案例。 使用jupyter notebook环境开发。 支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据...
python机器学习支持向量机SVM求解鸢尾花TensorFlow分类问题数据集iris及代码
06-08
SVM支持向量机分类鸢尾花数据集iris及代码，数据集有csv、data、txt文件格式，代码有data、txt、py格式演示 包含python代码与数据集，可直接运行。一组鸢尾花数据集，这组数据集有100个样本点，用SVM来预测这些鸢尾...
机器学习——支持向量机思维导图
11-26
"机器学习——支持向量机思维导图" 支持向量机（Support Vector Machine，SVM）是一种监督学习算法，主要用于分类和回归问题。其基本思想是寻找一个超平面，使得训练数据集的样本点中与分离超平面距离最近的样本点...
基于机器学习算法支持向量机SVM的交易策略
05-07
支持向量机（SVM）是一种强大的监督学习算法，可以用于分类和回归问题，因此在股票交易中也可以找到其应用。以下是一个基于SVM的股票交易策略的基本框架： 1. 数据收集 收集历史股票数据，包括开盘价、最高价、最低...
机器学习——支持向量机SVM之python实现简单实例一（含数据预处理、交叉验证、参数优化等）
python_AI_fans的博客
06-08 1万+
本文通过一个简单的例子来讲述了用python实现SVM分类，内容详细
机器学习——人工神经网络之多层神经网络（多层与三层）
python_AI_fans的博客
06-07 1万+
目录 一、多层神经网络 1、多层神经网络数学模型 2、数学模型中的非线性函数fai 1）非线性函数fai存在的意义 2）非线性函数fai具体是什么？ 3、多层神经网络与单层神经网络的区别与改进 1）单层神经网络数学模型 2）多层神经网络模型 3）区别 二、三层神经网络 1、定理 2、一些概念（决策面、神经元、神经网络层数） 1）决策面 2）神经元 3）神经网络层数n 3、常见的三层神经网络模型（含w,b的参数设置） 1）一个三角形决策面的神经网络模型（两层神经网络） 2）
机器学习——SVM之交叉验证对参数（C，gamma）进行优化以及选择
python_AI_fans的博客
06-11 1万+
对于C和gamma参数的确定，一般是通过交叉验证的方法来进行确定的，大概思路就是将C和gamma参数在一定地取值范围内按照一定的步长（默认为1）进行取值组合，在不同（C，gamma）的组合下，将训练集样本均分成k组，一组作为验证的数据样本，其余k-1组则用来作为训练的数据，每一组数据都轮流着作为验证数据样本，这样在一组（C,gamma）组合下，就需要进行K次计算，把这K次计算的模型测试准确率score的均值作为这组（C,gamma）下模型的得分。这样的话就能够得到不同（C，gamma）组合下模型的得分，取得
SVM实例python
07-27
当使用SVM（支持向量机）进行分类时，可以使用Python中的Scikit-learn库来实现。下面是一个使用SVM的简单示例： 首先，确保已经安装了Scikit-learn库，如果没有安装，可以使用以下命令进行安装： ``` pip install scikit-learn ``` 然后，可以按照以下步骤创建并训练一个SVM分类器： ```python from sklearn import svm from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载示例数据集（这里以鸢尾花数据集为例） iris = datasets.load_iris() X = iris.data y = iris.target # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建SVM分类器对象 clf = svm.SVC(kernel='linear') # 使用训练数据拟合分类器 clf.fit(X_train, y_train) # 使用测试数据进行预测 y_pred = clf.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print("Accuracy:", accuracy) ``` 在上述示例中，我们首先加载了一个示例数据集（这里使用的是鸢尾花数据集），然后将数据集分为训练集和测试集。接下来，我们创建了一个SVM分类器对象，并使用训练数据对其进行拟合。最后，我们使用测试数据进行预测，并计算准确率。 请注意，上述示例中使用的是线性核函数，你也可以尝试其他核函数（如高斯核函数等）来提高分类器的性能。 希望这个示例对你有所帮助！如有任何疑问，请随时询问。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有情怀的机械男

你的鼓励将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值