SVM笔记（一）硬间隔SVM

最新推荐文章于 2024-04-17 17:41:22 发布
最新推荐文章于 2024-04-17 17:41:22 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： 历程 机器学习算法 文章标签： 机器学习 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31267769/article/details/107969474
版权
SVM是一种基于最大间隔的二分类算法，通过引入Kernal成为非线性分类器。硬间隔SVM寻找使两类间隔最大的超平面，定义间隔并最大化最小间隔，转化为凸二次规划问题求解。
摘要由CSDN通过智能技术生成

什么是SVM？

SVM是一种二分类算法，其中SVM三个重要的部分是间隔、对偶、核技巧。SVM的基本模型是定义在原始特征空间上基于最大间隔的线性分类器，Kernal的引入使得SVM变成了非线性分类器。SVM的学习策略就是最大化间隔，后面跟会提到两种间隔：functional margin和geometric margin。可将这个学习问题转换为一个解凸二次规划的问题，SVM就变成了一个解凸二次规划问题的最优化算法。kernal思想同样可以用在其他机器学习算法中。

硬间隔SVM

首先假设，数据中的两个类是线性可分的，就是说可以将两个类用一条直线或者一个超平面完全分开，因此就可以使用基本的SVM模型对数据进行分类。

硬间隔SVM可以理解为最大间隔分类器，就是说在两类之间找到一个超平面，使得这个超平面到达两类之间的间隔最大，由于是线性分类器，将两类以超平面分开，因此可以将超平面表示为 f(w)=w^{T}x+b ，如图：

 

由此SVM转换为两个子问题，如何定义间隔，以及如何使间隔最大 。

如何定义间隔

从上面图中可以看到，有三条线均可以将两类“完美”分开，但是根据间隔最大的思想，蓝线明显具有更好的泛化效果。SVM是一个判别模型，它只需要判别sample属于哪一类即可，不需要计算概率。使用逻辑回归中的sigmoid函数可以实现这样的效果，将结果映射到0-1区间内，大于0.5为“1”类，小于0.5为“0”类。也可以理解为一个符号函数：f(w)=sign(w^{T}x+b)，大于零时返回1，小于零时返回-1，如图：

最低0.47元/天 解锁文章
我对算法一无所知
关注
专栏目录
人工智能_机器学习070_SVM支持向量机_软间隔及优化_硬间隔_衡量间隔软度_引入松弛变量_理解隔离参数---人工智能工作笔记0110
添柴程序猿的专栏
12-22 1123
然后我们为了,度量,软间隔,软到了什么程度,这个时候,我们引入了一个松弛变量,kesei,可以看到,这个kesei是大于>=0的,当kesei=0的时候,可以看到,蓝色的点,就直接在蓝色虚线上,就是在边界上对吧,这个时候,SVM支持向量机,就是完全线性可分的,可以看到,当kesei是0的时候,正好点在虚线上,对吧,kesei是0的时候,点在虚线,以及虚线的内部,也就是被完全分开的状态.可以看到上面写了,如果C越大,那么意味着kesei就要越小,那么kesei越小,那么就意味着,模型可能会出现过拟合的现象。
机器学习系列(13)_SVM碎碎念part1：间隔
寒小阳
09-27 1万+
欠的总归是要还的，SVM这么神圣的算法是每个学习machine learning的同学可能会头痛却又不得不面对的，即使到现在为止博主这样的Math/CS渣都觉得一定没有领悟到SVM精髓，所以整理了一些边边角角的碎碎念，颤颤巍巍放到这个系列里，算是自己做个总结，也希望能对大家有一点点的帮助。这个SVM系列大部分内容来自Alexandre KOWALCZYK大神的[SVM Tutorial]
机器学习——硬间隔SVM
菜到怀疑人生的博客
01-23 1647
以下内容均为个人观点，如有错误，欢迎指出 终于到支持向量机这个大魔王了 文章目录什么是支持向量机 什么是支持向量机 考虑二分类问题，我们需要在空间中找一个划分超平面，使位于两侧的样本大体上属于不同的类 ...
SVM硬间隔_机器学习
4AM_明朝百晓生
11-08 361
前言 支持向量机（support vector machine, SVM)是一种二分类模型。是定义在特征空间上的间隔最大化线性分类器，同时还包括核技巧，能解决非线性问题 。 求解过程 主要通过SMO (序列最小最优算法） 目录： 线性可分支持向量机 函数间隔几何间隔 间隔最大化 对偶算法 ...
SVM（硬间隔）
weixin_45559441的博客
05-02 597
支持向量机，在深度学习还没出来之前是一个很流行的判别模型，它要解决的问题很简单，如图：![在这里插入图片描述](https://img-blog.csdnimg.cn/20200502074223894.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0c两根 HM6Ly9ibG9nLmNzZ...
机器学习-支持向量机 -- 硬间隔SVM
Sabrina_cc的博客
04-24 3520
一、概述 1. 支持向量机(Support vector machine, SVM)解释 2. SVM三宝 3. SVM的三个重要的算法 二、硬间隔SVM（Linearly separable patterns-- Hard-margin SVM） 1. 预知识 2. Hard-margin SVM 3.函数...
SVM学习笔记+伪码.pdf
01-11
对于非线性可分的数据集，软间隔SVM通过引入松弛变量和惩罚参数C，来构建目标函数，使得分类问题变得更为灵活。松弛变量允许一些数据点违反间隔约束，而惩罚参数C则控制违反约束的程度。该方法在优化目标函数时会...
支持向量机SVM笔记 libsvm
01-25
SVM的核心思想是找到一个能最好地将不同类别数据分开的超平面，同时最大化类别之间的间隔，以此提高模型的泛化能力。 1. SVM的起源与发展 SVM最初源于统计学习理论，它通过最小化结构风险来避免过拟合，引入了VC维...
机器学习-支持向量机 -- 硬间隔SVM(1)
最新发布
2401_84093203的博客
04-17 1002
分享一套阿里大牛整理的前端资料给大家，点击前端校招面试题精编解析大全即可获取既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！[外链图片转存中…(img-Tp7WSBzt-1713346815517)]由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：前端）分享一套阿里大牛整理的前端资料给大家，
Python手撸机器学习系列（八）：硬间隔SVM（原始形式梯度下降法求解）
qq_43601378的博客
12-16 3021
目录一、硬间隔SVM1.1 原始形式1.2 原始形式代码实现（梯度下降）1.3 参考文献 一、硬间隔SVM 话不多说，直接上图： 最基本的原理如图所示，即找一条最好的线把两边的点分开（本文以二维坐标点为基础举例） 复习一下线性可分的定义： 给定数据集{(x1,y1),(x2,y2),...,(xN,yN)}\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}{(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中yi∈{+1,−1}y_i\in\{+1,-1\}y
手撕SVM——硬间隔
小白一直白
08-25 276
原理 上面这幅图，存在两类线性可分的数据，在两个数据集之间存在无数个可进行分割的超平面，而SVM的目的是找到几何间隔最大的超平面，且这个超平面是唯一存在的。如上图的超平面WTX + b = 0，就是上图数据集的几何间隔最大超平面。 推导过程 假设给定一个特征空间上的训练数据集T = {(x1,y1),(x2,y2),…(xn,yn)}。 其中xi∈\in∈Rn，yi∈\in∈{-1，+1}。 设超平面为ω\omegaωTx + b = 0 ，则yi = ω\omegaω×\times×xi+ b yi
SVM——硬间隔最大化
o0Helloworld0o的博客
08-08 880
本文参考自http://cs229.stanford.edu/notes/cs229-notes3.pdf，采用文中的符号系统 数据集D=\left { (x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(m)},y^{(m)}) \right }，x^{(i)} \in \mathbb{R}^n，y^{(i)}\in {-1, 1} 超平面w^Tx...
手推支持向量机01-硬间隔SVM-模型定义（最大间隔分类器）
敲代码的乔帮主
07-19 973
目录 1.写在前面 2.硬间隔SVM（hard-margin SVM） 1.写在前面 支持向量机SVM是机器学习中非常流行的分类算法，最近朋友推荐了机器学习-白板推导系列(六)-支持向量机SVM（Support Vector Machine）视频，感觉这个大佬讲的非常棒，之前写的关于svm的东西太浅显了，于是重新整理，方便以后复习。我们主要是从理论推导SVM是怎么一步一步演化到一个优化问题。从核心概念上讲，有一个口头禅：SVM有三宝，间隔、对偶、核技巧。 首先核技巧...
手推SVM（硬间隔---＞软间隔---＞核技巧）
qq_37321378的博客
09-26 713
文章目录 前言 一、为什么要分四个层次学习SVM 二、具体步骤 1.线性可分支持向量机（硬间隔支持向量机） 2.线性支持向量机（软间隔支持向量机，用于解决线性不可分的情况） 3.非线性支持向量机（核技巧） 4.序列最小最优化算法（SMO，这个后续再做补充，但前三步真的很重要) 前言 听了三遍手推SVM的课程看了好多文章后发现还是要自己推到一边才能深刻理解SVM，以下纯属个人的理解，如果有不对的地方请大家指正^_^ 一、为什么要分四个层次学习SVM 分层次的SVM推导过程其
svm 中的几何间隔
piaomiaoju的专栏
09-28 2304
1.SVM在分类超平面中 求解 数据集最小几何间隔的最大值。 2. SVM中超平面系数缩放，不影响超平面的位置，系数缩放，也不影响几何间隔。 3. 定义>= 1,相当于几何间隔》1/||w||. 当然也可以定义成 >=k,因为这只会影响系数（w,b)缩放，同时需要修改几何间隔 》k/||w||.因此选择只不过是一种方便。 wTx+b
深入理解SVM---从头到尾详细推导（软硬间隔、KKT条件、核技巧）
热门推荐
KI的博客
07-27 9万+
深入理解SVM---从头到尾详细推导（软硬间隔、KKT条件、核技巧）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值