【西瓜书阅读笔记】06支持向量机

最新推荐文章于 2024-09-02 09:26:45 发布
最新推荐文章于 2024-09-02 09:26:45 发布
阅读量270 收藏
点赞数
分类专栏： 西瓜书 文章标签： 支持向量机 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Checkmate9949/article/details/121013727
版权
本文介绍了最大边界分类器（Maximal Margin Classifier）和支持向量机（Support Vector Machine, SVM）的概念。重点讲解了如何通过升维找到最大化分类边界的阈值，以及如何利用线性方程描述超平面。同时，阐述了超平面距离的计算方法，以及最大化边界问题转化为最小化法向量的过程。内容还包括了支持向量在SVM中的关键作用，以及约束条件确保样本正确分类的原理。
摘要由CSDN通过智能技术生成

零、Maximal margin classifier and Support Vector classifier

 https://www.youtube.com/watch?v=efR1C6CvhmEicon-default.png?t=L9C2https://www.youtube.com/watch?v=efR1C6CvhmE

 

 一、间隔与支持向量：

 1、通过升维寻找使margin最大的threshold

 注意：该图表示三维空间，+对应y=1，-对应y=-1。

2、 用线性方程描述超平面：法向量w和位移b决定了该平面

 

3、任意一点到超平面的距离为r，根据超平面的方程得到margin

4、由最大化margin问题转换为最小化法向量：

 subject to:   y*f(x)>=1。由下图可知，y和f(x)方向必然相同。

 

Checkmate9949
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
西瓜书 学习笔记06 支持向量机
qq_23120021的博客
12-01 303
间隔与支持向量对偶问题求解方法-SMO核函数。
西瓜书笔记6:支持向量机
越开源越幸运
06-23 886
6.1 间隔与支持向量 6.2 对偶问题 求解w 求解b 6.3 核函数 非线性映射 核函数 6.4 软间隔与正则化 软间隔 参数求解 正则化 6.5 支持向量回归 6.6 核方法
西瓜书读书笔记之支持向量机
wxl1999的博客
02-20 200
这次做思维导图省去了不少细节，感觉比神经网络那张要清爽不少，显得简明扼要。 核线性判别分析这里不是特别明白，需要回头看。  
机器学习西瓜书笔记：支持向量机SVM（support vector machines）
make a wish
04-08 1696
机器学习西瓜书笔记：支持向量机SVM。把模型思想，数学理念解释了一遍
西瓜书读书笔记整理（六）—— 第六章 支持向量机
Smileyan's blog
09-17 3428
支持向量机
支持向量机,西瓜书第六章笔记
weixin_70251770的博客
07-25 582
至于偏移项b,则通过支持向量的判定式求解,因为对于任意支持向量(xi,yi),都有f(xi)×yi=1,然后得到b的平均值作为最终解。=1(令支持向量离超平面的函数间隔=1,可以简化目标函数),其实是一种规范化的做法,其他样本点到超平面的距离便可由此确定。解左式意味着要计算两者乘积,由于映射后的特征空间的维数未知,可能非常高,因此计算这两个矩阵相乘会很困难,所以引入核函数。此时引入核函数,其价值在于虽然它也是将特征进行从低维到高维的转换,但它事先在低维上进行计算,而将实质上的。
西瓜书笔记之支持向量机
weixin_41551445的博客
08-04 184
这章节的内容对于小白来说属实有点难，把我难到无法用自己的语言去做笔记。 好在互联网上的大神随处可见，寻到一篇“码农场”的一篇文章，虽然他整理的不是西瓜书，而是《统计学方法》的第七章，支持向量机。但是我觉得要比西瓜书更加容易理解。反复多嚼几遍，总会有意想不到的收获！ 下面奉上链接，大家一起学习ba！ 支持向量机--码农场 ...
西瓜书——支持向量机
Ryangfeng
11-04 484
西瓜书——支持向量机(SVM) 一、SVM简介 核心思想：利用某些支持向量机所构成的“超平面”(即分割平面)，利用“超平面”将样本点切割开来 是一种有监督的机器学习，二分类问题 特点： 可用于分类和预测，但不适合大样本的分类或预测 支持向量机是针对二分类任务设计的，对多分类任务要进行专门的推广 对于低维不可分的空间转换为高维的线性可分空间（升维） 对样本缺失非常敏感 二、间隔与支持向量 在样本空间中，划分超平面为 样本空间任意点到超平面的距离 支持向量：离这个超平面最近的点
【西瓜书笔记】4. 支持向量机
weixin_39236489的博客
01-24 665
4.1 超平面 wTx+b=0 \boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+b=0 wTx+b=0 法向量恒垂直于超平面 和法向量方向相同的点(与w\boldsymbol{w}w夹角θ\thetaθ小于90度的向量)代入超平面方程恒大于等于0，否则恒小于等于0 (与w\boldsymbol{w}w夹角θ\thetaθ大于90度的向量) 法向量和位移项唯一确定一个超平面 等倍缩放法向量和位移项超平面不变。 点到超平面距离公式推导 证明： r=∣wTx+b∣∥w∥
【西瓜书笔记】——支持向量机（SVM）
锟金铐鏜鏜鏜
10-17 756
【引言】 支持向量机可作回归也可作分类，其主要思想是旨在建立一个WX+b的超平面，对高维样本空间进行数据拟合或划分。支持向量机的核心内容为核函数和凸优化问题，意在寻找合适的参数矩阵W和位移项b从而找到最合适的支持向量机。 1、间隔与支持向量 分类学习最基本的想法是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。但是同一个样本空间中划分超平面有许多，而支持向量机就是旨在寻找最优的...
西瓜书学习笔记——第六章：支持向量机
Andrewings
05-30 4178
西瓜书学习笔记——第六章：支持向量机6. 本章简介6.1 间隔与支持向量6.2 对偶问题6.3 核函数6.4 软间隔与正则化6.5 支持向量回归6.6 核方法 6. 本章简介 支持向量机（Support Vector Machine），简称SVM，是一种经典的二分类模型，属于监督学习算法。 6.1节：介绍了支持向量机的目标是确定一个对样本的分类结果最鲁棒的线性分类器，即找到一个具有最大间隔的划分...
【学习笔记】西瓜书机器学习之第六章：支持向量机及代码实现和调参
For-4946的博客
01-30 1781
前言 支持向量机下文简称SVM，是目前学习的所有算法中最难（数学上）的一个算法。但是他同样也是目前学习的算法中用途最广泛，最流行的明星算法。他可以用来分类，用来回归，用来进行检测异常。 1.什么是硬间隔SVM？ 在二维空间中划分正反例的就是一条直线，在多维空间中我们可以想象有一个超平面能够帮助我们完成分类任务。 硬间隔支持向量机有两个目的：1是完美划分正反例 ，2 是尽可能使超平面远离最近的正反例（下图红圈圈出的一正一反的向量，也叫支持向量），或者叫寻找最大间隔（两条虚线之间的距离）。 目的1是所有分类器都
周志华《机器学习》西瓜书 小白Python学习笔记（七） ———— 第六章 支持向量机SVM
River_J777的博客
07-19 641
周志华《机器学习》西瓜书 小白Python学习笔记（七） ———— 第六章 支持向量机SVM什么是SVMSVM求解过程转化为Lagrange对偶问题Lagrange对偶问题求解1.min⁡w,bL(w,b,α)\min _{\boldsymbol{w}, b} L(\boldsymbol{w}, b, \boldsymbol{\alpha})minw,b​L(w,b,α)2. max⁡αi{min⁡w,bL(w,b,α)}\max_{\alpha_i}\{\min _{\boldsymbol{w},
周志华《机器学习》(西瓜书) —— 学习笔记：第6章 支持向量机
月边云的博客
05-30 753
第6章 支持向量机
【机器学习入门】一文读懂线性可分支持向量机（一）
最新发布
跟着大数据和AI去旅行
09-02 1146
本文总结了在数据集线性可分情况下，使用支持向量机算法进行分类的思想——硬间隔最大化。然而，在多数应用中，数据集并非线性可分，如果只是在分类边界附近少数点造成线性不可分，这种情况下需要在硬间隔最大化目标函数基础上，引入松弛变量和惩罚因子，然后通过拉格朗日对偶性求解，这种方法称为软间隔最大化。如果大量样本线性不可分，则需要引入核技巧，往高维空间映射，转化为线性可分。对于这两部分内容，在后续博客中在总结了。
基于SVM的手势识别，SVM工具箱详解，SVM工具箱使用注意事项
abc991835105的博客
08-30 416
基于支持向量机SVM的手势识别，SVM原理，SVM工具箱详解，
深度学习速通系列:贝叶思和SVM
Ven%的博客
09-01 1046
贝叶斯方法和SVM都是强大的机器学习算法，它们在不同的应用场景中有着各自的优势。贝叶斯方法在处理不确定性和概率推断方面表现出色，而SVM在处理高维数据和非线性问题方面具有优势。在实际应用中，选择哪种算法取决于具体问题的需求、数据的特性以及预期的性能。有时候，结合使用多种算法（如集成学习）可能会获得更好的效果。
生信机器学习入门4 - scikit-learn训练逻辑回归（LR）模型和支持向量机（SVM）模型
LittleComputerRobot的博客
09-01 805
scikit-learn训练逻辑回归（LR）模型和支持向量机（SVM）模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值