机器学习——支持向量机SVM实例（兵王问题，SVM求解步骤以及思路，不求解不编程）

最新推荐文章于 2024-06-11 13:10:45 发布
最新推荐文章于 2024-06-11 13:10:45 发布
阅读量7k 收藏 73
点赞数 9
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45769063/article/details/106583591
版权

目录

 

一、问题描述（兵王问题）

二、步骤

1、获得数据

2、样本划分（训练样本和测试样本）

3、训练样本得到SVM模型

​ 1）数据处理

2）训练样本和测试样本归一化

3）选择核函数和调参

4）明确任务

5）训练方法——交叉验证

6）参数的设置

3、获得训练后的参数

>>>问题1：为什么要获得这些参数呢？

4、测试结果分析

1）二元分类一般要将测试结果分为四种情况（TP\FN\TN\FP）

2)测试样本测试结果

5、对模型系统进行评价——ROC曲线

1）测试数据的流程：

>>>问题2：若正样本数不够多该怎么办？

2）提升系统性能的办法

3）ROC曲线

>>>问题3：怎么通过ROC曲线去评价一个系统的优劣？

4）系统性能评价指标1：有一个指标就是当FP接近0的时候，TP的大小

5）系统性能评价指标2：曲线所包含的面积（AUC）

6)   系统性能评价指标3：等容错率（EER）

一、问题描述（兵王问题）

国际象棋中，一方一个王一个兵，另一方一个王，用SVM来解决是和局还是将死的结果

 

二、步骤

1、获得数据

这里使用的是早期别人用过的数据集

 

2、样本划分（训练样本和测试样本）

3、训练样本得到SVM模型

用下面的工具包对从总样本划分出来的训练样本进行训练

1）数据处理

因为电脑只认得数字所以，将a,b,c,d...用数字表示，如a=1,b=2,如此类推，标签也是：draw =  -1,one-fifteen = 1（-1表示和局，1表示将死）

2）训练样本和测试样本归一化

3）选择核函数和调参

当不知道选择什么核函数的时候，我们就选择高斯核

这里的参数有两个，一个是C，一个是gamma，如何确定这两个参数？通过对偶问题中的目标函数来对两个参数在他们的取值范围内按照一定的步长逐一进行测试，取最优作为两个参数的最终取值，如下C和gamma的组合有21x19，步长为2

4）明确任务

已知——5000个训练样本（包含样本数据和每个数据对应的标签）

未知、任务——C、gamma参数，通过训练样本训练出SVM模型

5）训练方法——交叉验证

将5000个样本随机均分为5组（5——fold），5组名字分别为a,b,c,d,e，每次拿4组数据作为训练模型，1组用于测试，每组数据进行轮换测试，最后模型的辨识率取五次测试辨识率的均值

组数越多，越精确，但是训练时间多，因此需要进行权衡

这里涉及到了两个循环，一个循环是遍历所有的C和gamma，一个循环是将训练样本分成5组轮换进行训练测试

6）参数的设置

3、获得训练后的参数

>>>问题1：为什么要获得这些参数呢？

答：C和gamma确定了对偶问题模型

支持向量的个数可以通过经验来判断训练的好坏，若支持向量过多则没有训练好

通过b和α我们可以对测试样本进行分类，其中α是通过对偶问题求解所得

4、测试结果分析

5000样本用于了训练，那么剩下的样本则用于测试，通常训练的样本不能拿来测试，因为模型本来就是通过训练样本进行创建的，我们的目的是用训练得到的模型对其他样本进行分类，考察的是模型的学习能力，类似于学习过程中的知识迁移

1）二元分类一般要将测试结果分为四种情况（TP\FN\TN\FP）

2)测试样本测试结果

识别率一般不用来作为系统优劣的判断依据，因为不够准确，一般是通过ROC来进行判断

5、对模型系统进行评价——ROC曲线


 

1）测试数据的流程：

​

>>>问题2：若正样本数不够多该怎么办？

答：将阈值调小，就会有更多被错误识别为负样本的正样本被正确地识别为正样本，即TP增大，同时NP也会增大，这样的话系统的性能也会得到提升

​

2）提升系统性能的办法

方法1：在模型还没有确定的情况下，通过寻找一组更好的α和b来创建模型；

方法2：在模型确定的情况下，即α和b一定的情况下，我们可以通过适当地调小阈值来达到系统性能提升的效果

3）ROC曲线

理论依据：

​

曲线绘制 ：根据上图的①②③关系进行绘制TP-FP曲线

​

>>>问题3：怎么通过ROC曲线去评价一个系统的优劣？

答：在回答这个问题之前，我们得清楚TP和FP，TP指的是将正样本正确的识别为正样本，FP是将负样本错误地识别为正样本。

4）系统性能评价指标1：有一个指标就是当FP接近0的时候，TP的大小

指标1：有一个指标就是当FP接近0的时候，TP的大小可以用来评价一个系统的优劣，越大越好，因为识别率高。但是大多数情况下不能只看这一项指标，还要看一下总的走势，如下图所示：

在FP=0的时候，红色线系统TP很高，但是蓝线TP=0，而到了后面，相同的FP下，蓝色线的TP大于红色线的TP，这样的两个系统无法直接判断出哪个系统更优。

但是在兵王问题中的ROC曲线，对任意相同的FP下，蓝色线所代表的系统的TP都要大于等于其他系统，因此蓝色线所代表的系统肯定在这四个系统中是最优的！

5）系统性能评价指标2：曲线所包含的面积（AUC）

面积越大，系统越优

6)系统性能评价指标3：等容错率（EER）

EER越小，系统性能越好

有情怀的机械男
关注
专栏目录
【机器学习实战】——SVM支持向量机
锟金铐鏜鏜鏜
10-22 305
【引言】 SVM可以说是目前最好的现成的分类器，即不加任何修改就可以直接使用。本文对应《机器学习实战》第六章内容，具体理论知识可以联系西瓜书第七章内容和博客笔记，此处只介绍SMO算法的实现与学习心得，以及关于核函数的选择和实现。 1、基于最大间隔分隔数据 支持向量机： 优点：泛化错误率低，计算开销小，可解释性强； 缺点：调参工作量大，核函数敏感性强； 适用数据类型：标称型和数值型 线性可分：在...
支持向量机实例
12-05
对应于机器学习教程进行实战，通过代码的实现，理解机器学习中支持向量机的原理。
SVM支持向量机实例
a706769817的博客
05-22 502
波士顿房价回归分析 1.导入波士顿房价数据集 ############################# svm实例--波士顿房价回归分析 ####################################### #导入numpy import numpy as np #导入画图工具 import matplotlib.pyplot as plt #导入波士顿房...
5.3SVM实例1--python机器学习
军军的专栏
08-17 960
参考彭亮老师的视频教程：转载请注明出处及彭亮老师原创 视频教程： http://pan.baidu.com/s/1kVNe5EJ 利用SVM进行人脸识别实例： from __future__ import print_function from time import time import logging import matplotlib.pyp
支持向量机（SVM）案例分析
m0_37228052的博客
09-18 3166
支持向量机（support vector machines, SVM）是一种二分类模型，所谓二分类模型是指比如有很多特征（自变量X）对另外一个标签项（因变量Y）的分类作用关系，比如当前有很多特征，包括身高、年龄、学历、收入、教育年限等共5项，因变量为‘是否吸烟’，‘是否吸烟’仅包括两项，吸烟和不吸烟。
支持向量机（SVM）举例
weixin_30518397的博客
09-06 577
例（1） 无核（No kernel or linear kernel） 　　代码和数据集来自于https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes #coding = utf-8 import numpy as np import pandas as pd import sklearn.svm import seaborn a...
机器学习——支持向量机SVM算法完整实战源码
05-16
基于Python和sklearn机器学习库实现的支持向量机算法使用的实战案例。 使用jupyter notebook环境开发。 支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据...
OpenCV机器学习——支持向量机SVM
01-27
本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关函数，并且用十分简单的训练数据作为例子实现分类。 对于OpenCV的机器学习分类器，大多换汤不换药，构造方法和实现方法很类似，基本遵循...
机器学习——支持向量机思维导图
11-26
"机器学习——支持向量机思维导图" 支持向量机（Support Vector Machine，SVM）是一种监督学习算法，主要用于分类和回归问题。其基本思想是寻找一个超平面，使得训练数据集的样本点中与分离超平面距离最近的样本点...
从零开始的机器学习——支持向量机（SVM） （2018-8-10）.zip
04-16
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，广泛应用于分类和回归问题。在本文中，我们将深入探讨SVM的基本概念、工作原理、优缺点以及实际应用，帮助你从零开始理解这个重要的话题。...
matlab支持向量机分类实例（十分详细）附数据
06-15
matlab支持向量机分类实例（十分详细）附数据
python机器学习支持向量机SVM求解鸢尾花TensorFlow分类问题数据集iris及代码
06-08
SVM支持向量机分类鸢尾花数据集iris及代码，数据集有csv、data、txt文件格式，代码有data、txt、py格式演示 包含python代码与数据集，可直接运行。一组鸢尾花数据集，这组数据集有100个样本点，用SVM来预测这些鸢尾...
机器学习之SVM支持向量机实例
qq_46556714的博客
04-30 445
SVM支持向量机实例 代码： import sys defaultencoding = 'utf-8' import numpy as np from scipy import io as spio from matplotlib import pyplot as plt from sklearn import svm def SVM(): data1 = spio.loadmat('data1.mat') X = data1['X'] y = data1['y'] y
python机器学习之SVM（支持向量机）实例
热门推荐
柳小葱的博客
04-12 1万+
其实在很早以前写过一期SVM,只不过当时对SVM只是初步的了解，现在重新来看，其实SVM还是有很多值得学习的地方。 1.SVM介绍 SVM可以理解为：使用了支持向量的算法，支持向量机是一种基于分类边界分界的方法。以二维数据为例，如果训练数据分布在二维平面上的点，它们按照其分类聚焦在不同的区域。基于分类边界的分类算法的目标：通过训练，找到这些分类之间的边界（如果是直线的，称为线性划分，如果是曲线的，称为非线性划分）。 过程如上述三个图，SVM就是试图把棍放在最佳的位置上，最好让棍两边有尽可能大的间隙，这
支持向量机SVM——简单实例应用
最新发布
fjstjsjg的博客
06-11 1924
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考支持向量机（Support Vector Machine，SVM）是一种常见的监督学习算法，用于分类和回归任务。SVM的目标是构建一个能够将不同类别的数据点尽可能正确地分隔开的决策边界。核函数是支持向量机（SVM）中的一种技术，用于将数据从原始特征空间映射到另一个高维特征空间。
【SVM支持向量机】实现和案例
可乐大牛的博客
04-28 2358
文章目录一、scitit-learn SVM API说明1.1 算法库概述分类算法1.2 scitit-learn SVM算法库概述回归算法1.3 scitit-learn SVM-OneClassSVM二、鸢尾花SVM特征分类三、不同SVM核函数效果比较 参考博客：这里 一、scitit-learn SVM API说明 1.1 算法库概述分类算法 svm.SVC API说明 参数说明： C: 误差项的惩罚系数，默认为1.0；一般为大于0的一个数字，C越大表示在训练过程中对于总误差的关注度越高，也就是
机器学习 --- 支持向量机（Support Vector Machine）推导+实例
qq_42549612的博客
05-03 700
支持向量机（Support Vector Machine） 支持向量机要解决的问题 要解决的问题：什么样的决策边界才是最好的呢？ 以一个二分类问题为例，对于两个类别，可以有多种决策边界，需要找到一个最好的那个决策边界 特征数据本身如果就很难分，怎么办呢？ 使用核函数 计算复杂度怎么样？能实际应用吗？ 目标：基于上述问题对SVM进行推导 决策边界： 需要选出来Large Marg...
支持向量机
zylyyyyyy的博客
11-10 853
在以前的学习中我们知道，只要一个样本集线性可分，就肯定存在无数多解，解区中任何一个向量都是解向量。感知器算法采用不同的初始值和不同的迭代参数就会得到不同的解，如图 4-8 所示，那么这些解哪一个更好呢？一个超平面，如果它能够将训练样本没有错误地分开,并且两类训练样本中离超平面最近的样本与超平面之间的距离是最大的,则把这个超平面称作最优分类超平面(optimal seperating hyperplane),简称最优超平面。
支持向量机——SVM算法及例子（代码）
chqb89的专栏
04-30 9071
终于拖到最后一天交机器学习作业，选择了SVM算法，之前一直听说过，现在终于有了初步的了解，顺便post到这里分享一下，不足地方请大家指出 本文内容有来自《统计学习算法》（李航 著）第7章——支持向量机 同时也看了Stanford机器学习公开课 概要 支持向量机属于监督学习，是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，支持向量机包括核心技巧，这使它成为实
深度解析：吴恩达机器学习课程——支持向量机（SVM）
"吴恩达教授的机器学习课程讲义，专注于支持向量机（SVM）部分，涵盖了从基础的margin概念到最优margin分类器、拉格朗日对偶性、核函数以及SMO算法的详细内容。" 在机器学习领域，支持向量机（Support Vector ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有情怀的机械男

你的鼓励将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值