【机器学习】一看就懂的教程：支持向量机SVM

最新推荐文章于 2024-06-11 16:36:41 发布
最新推荐文章于 2024-06-11 16:36:41 发布
阅读量1.1k 收藏 3
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 SVM 支持向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35272180/article/details/86300879
版权

支持向量机SVM的翻译为Support Vector Machine，但是实际上跟machine机器没有什么关系，只是起了个这个名字。SVM是1963年提出了，提出之后就得到了非常广泛的应用，因为它是做监督分类的一个非常好的手段。搓搓手一起来学习吧~~

好的分割线

什么才是好的分割线？如果是下面这样的样本集合那么答案很简单，“/”这样的一条线就是最好的分割线

在这里插入图片描述

那么如果现在给你的是这样的一个数据集，那么哪个分割线你会觉得更好呢？
在这里插入图片描述

我想你的答案就是中间那条“|”线，这个金箍棒在哪里？棒就棒在在它最大化了到临近点的距离，这个距离就叫做间隔（Margin）
在这里插入图片描述

为什么距离最远就是最好的，那么我们现在想象一个距离左边红色数据很近的一条分割线，那么只要右偏一点点的数据就要被分类到右边的蓝色区域，这样的划分是不合理，不稳定的。而最大化距离，保证了稳定性，我们叫做稳健性（Robustness）

在这里插入图片描述

还需要注意的一点是，对于下图的分类，我们应该选择①②③的哪一条作为分割线呢？
在这里插入图片描述

答案是②，因为SVM首先要保证分类的正确性，然后才是距离最大，如果只考虑距离最大，那岂不是③是一条更好的分类？

此外，SVM对于异常值的处理也是很好的，下图的情况存在一个异常值，那么SVM算法会忽略异常值，然后找到最好的分割线
在这里插入图片描述

不同于朴素贝叶斯的决策面，SVM的分割线是一条直线，而朴素贝叶斯却可以是一条弯曲的线（或者面）

Quiz

知道了SVM的工作原理，我们可以访问SVM scikit-learn页面来查看代码，然后做一个小小的练习。练习的内容非常简单，如果你还记得[机器学习]一看就懂的教程：朴素贝叶斯中的无人车的例子，那么这个练习就是把算法由朴素贝叶斯改为支持向量机。

在这里插入图片描述

练习页面

练习答案

非线性SVM

前面我们提到了,SVM是基于线性的划分，那么下面这张图我要告诉你，都是SVM的分类，为什么左边是线性的，右边是非线性的呢？

在这里插入图片描述

根据之前的我们对于SVM的认识，下图的数据有两个features（x和y），然后有一个Lables（颜色），这个图其实很难用一条直线来进行划分。假如我们还是想用SVM的方法用一条直线划分，该怎么操作呢？
在这里插入图片描述

不妨看看这个办法，设置一个新的变量z
z=x^2 + y^2
再画出x和z的坐标，竟然得到了下图的图形，红色的x和蓝色的o都被分开了，可以用直线来划分了！！
在这里插入图片描述

再来做一个简单的练习，下面的图该如何分类呢？
在这里插入图片描述

答案选第二个：|x|

核技巧Kernels

或许接触过机器学习的人很早就听说过核技巧这个概念，核技巧到底是干什么的？有了我们之前的例子，你应该就明白了，Kernels就是实现非线性分割线对数据集的分类。，这个技巧是机器学习当中非常重要的一个技巧。
在这里插入图片描述

现在让我们深入了解一下kernel的代码，打开scikit-learn svm的页面，可以看到这里面定义了非常多的参数，其中有一个参数就叫做kernel，你可以选择不同的kernel，如果不选择，默认就是“rbf"，可以画出弯弯曲曲的决策边界

在这里插入图片描述

在这里插入图片描述

我们在使用Kernel的时候，有两个重要的参数：gamma和C

gamma的作用（这个我还没有太搞懂），大概就是我们的把数据映射到新的特征空间之后，gamma大的话，新的数据形成的正态分布σ就小，那么数据就比较集中。

C的作用：在尽可能的形成一个光滑的决策边界和尽可能正确的分类所有训练点之间形成的平衡，C越大，那么就会有更多的数据被正确分类，也就是容错率越低。如图所示

在这里插入图片描述

SVM的优缺点

SVM对于具有明显分隔边界的复杂数据的表现是非常好的，但是对于海量的数据，SVM就不适用了，因为训练时间与数据量的三次方成正比。而且，如果类之间的重叠较多，需要将不同的类分开来，用朴素贝叶斯反而更好

更多的内容，欢迎关注我的知乎专栏哟~?
在这里插入图片描述

阿肉~
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习-----支持向量机(support vector machine)，获取网格、画分界线、分界面图
m0_47405013的博客
11-24 1085
支持向量机（support vector machine） 1. 支持向量机练习1 ```python import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.svm import SVC,SVR from sklearn.model_selection import train_test_split import warnings warnings.filt
经典支持向量机入门教程，模式识别的初学者必看
03-18
经典的支持向量机入门教程， 对从事模式识别的初学者很有用
机器学习——支持向量机（SVM）
weixin_74731967的博客
06-11 876
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，SVM可以用于线性和非线性分类问题，回归以及异常值检测其基本原理是通过在特征空间中找到一个超平面，将不同类别的样本分开，并且使得离超平面最近的样本点到超平面的距离最大化。这个超平面称为最大间隔超平面，它可以很好地进行分类预测。具体而言，SVM通过将样本映射到高维特征空间，使得数据在该空间中线性可分。
[译] 支持向量机（SVM）教程
weixin_34247155的博客
12-13 222
原文地址：Support Vector Machine (SVM) Tutorial 原文作者：Abhishek Ghose 译文出自：掘金翻译计划 本文永久链接：github.com/xitu/gold-m… 译者：zhmhhu 校对者：TrWestdoor, 1992chenlu 支持向量机（SVM）教程 从例子中学习 SVM 在 Statsbot 团队发布关于时间序列异常检测的帖子...
支持向量机（SVM）保姆级入门
qq_52300384的博客
07-25 2056
SVM 拉格朗日乘数法 核函数
支持向量机怎么用
qq_41558173的博客
03-15 914
SVM支持向量机 一、简介 支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 二、实例应用：使用支持向量机SVM 准备： 数据集 导入SVM模块 步骤： 1.读取数据集 2.划分训练样本与测试样本 3.训练S...
与SVM的初识(1)：吴恩达视频中的SVM简介
u014088761的博客
04-27 1870
吴恩达视频中的SVM简介 该篇主要参考自吴恩达机器学习视频，部分图片摘自pluskid大神的博客支持向量机系列。同时对于那些和我一样的初学者大力推荐一下pluskid大神的博客,感觉讲得非常清楚。 我的关于SVM系列的博客一共分为三个部分： 1. SVM的具体原理：吴恩达视频中的SVM简介 2. SVM的具体原理：pluskid大神博客SVM系列推导过程简介 3. 对以上两个推导过...
机器学习算法二：支持向量机SVM.pptx
10-09
机器学习算法二：支持向量机SVM 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对...
机器学习——支持向量机SVM算法完整实战源码
05-16
基于Python和sklearn机器学习库实现的支持向量机算法使用的实战案例。 使用jupyter notebook环境开发。 支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据...
基于机器学习算法支持向量机SVM的交易策略
05-07
支持向量机（SVM）是一种强大的监督学习算法，可以用于分类和回归问题，因此在股票交易中也可以找到其应用。以下是一个基于SVM的股票交易策略的基本框架： 1. 数据收集 收集历史股票数据，包括开盘价、最高价、最低...
支持向量机（SVM）：机器学习中的强大工具
最新发布
06-23
在机器学习领域，支持向量机（SVM）是一种强大而广泛应用的分类和回归算法。它最初是由Vladimir Vapnik等人于20世纪90年代提出的。SVM的核心思想是找到一个最佳的决策边界，将不同类别的数据点分开。本文将深入介绍...
Python SVM(支持向量机)实现方法完整示例
09-20
主要介绍了Python SVM(支持向量机)实现方法,结合完整实例形式分析了基于Python实现向量机SVM算法的具体步骤与相关操作注意事项,需要的朋友可以参考下
一种简单的可视化SVM软件-winsvm.rar
11-22
一种简单的可视化SVM软件-winsvm.rar一种简单的可视化SVM软件-winsvm.rar一种简单的可视化SVM软件-winsvm.rar一种简单的可视化SVM软件-winsvm.rar
SVM学习教程(自己学习时候看的PDF)
10-23
学习SVM时候找了很多资料最终选择的这个PDF一看就懂了
机器学习与数据挖掘-支持向量机(SVM)（一）
06-21
支持向量机（Support Vector Machine，SVM）是机器学习领域一种重要的算法，尤其在分类和回归任务中表现突出。SVM的核心思想是通过构造一个最大边距的超平面来实现对数据的分类，这个超平面能够将不同类别的数据最大...
支持向量机是怎么画分类平面的？
笨笨的企鹅的专栏
11-11 1748
支持向量机是怎么画分类平面的？ #coding:utf-8 """ 损失函数形式的支持向量机演示算法 """ import numpy as np from matplotlib import pyplot as plt from matplotlib.colors import ListedColormap # 线性支持向量机模型 class LinearS...
机器学习算法--用Python实现SVN（向量机）
糯米君的博客
11-24 1810
机器学习算法（5）用Python实现SVN（向量机） 训练一个支持向量机模型来对鸢尾花数据集中的不同种花进行分类： import numpy as np from matplotlib.colors import ListedColormap import matplotlib.pyplot as plt from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.preproc
基于支持向量机的数据分类以及绘制决策边界（超平面）
m0_46557838的博客
04-14 6374
基于支持向量机的数据分类以及绘制决策边界（超平面） 为了方便结果可视化，本文主要利用二维数据点进行讨论 目录： 1、导入数据并观察数据： 2、对训练函数 3、绘制决策边界（超平面）观察分类效果 4、利用这四组参数对测试集进行测试并绘制图像 首先开始就列出利用的库 # coding:utf-8 import numpy as np import matplotlib.pyplot as plt fr...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值