浙江大学-机器学习-支持向量机-板书记录（源自B站 仅记录

最新推荐文章于 2024-04-16 08:35:56 发布
最新推荐文章于 2024-04-16 08:35:56 发布
阅读量395 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45941945/article/details/119255925
版权

线性可分 vs 线性不可分

  • 线性可分
    在这里插入图片描述
  • 线性不可分
    在这里插入图片描述

思路：从线性可分开始分析 并推导到线性不可分

线性可分问题求解

定义：将平行线插到的向量叫做支持向量
即那些用于确定分割线的向量 ( 所以适用于小样本 )

在这里插入图片描述
公式1 ↑
只要线性可分 就存在一个w和b
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

所以最小化||w|| 就是最大化d 系数1/2是为了求导方便
而限制条件则是表示每一个样本都在两条线之外，如果不满足线性可分 这里就找不到一组w和b

在这里插入图片描述
即局部最优解即为全局最优解
求局部最优解即可使用梯度下降（上升）法

总结

在这里插入图片描述

SVM处理非线性可分问题

在这里插入图片描述
松弛变量允许部分向量的分类错误
最小化函数限制松弛变量不能太大
在这里插入图片描述
正则项 让整个目标函数规范化（如从仅处理线性扩展到处理非线性）
在这里插入图片描述
c 不断尝试 取最好值

SVM需要事先设定的参数并不多 c是一个

如何解决非线性问题

在这里插入图片描述
在这里插入图片描述
在低维无法线性可分的情况下，升到高维就有可能变成线性可分
在这里插入图片描述
此处的例子就需要想出一个5*1的w和一个常数b使得上面的两个与下面的两个经过运算之后结果分离
某一个解：
在这里插入图片描述

在这里插入图片描述

此时的w也不再是低纬，而是与变化后的x一样的维度
对于任意的一组需要分类的数据，当维度上升到无限维时，线性可分的概率是1
在这里插入图片描述
但此时w也需要是无限维，此时，SVM提出：
在这里插入图片描述
这里的1指的是最小化1/2||w||…那个式子
在这里插入图片描述
所以，借助核函数，我们不需要知道具体的映射函数的具体形式，只需要得到两个无限维向量内积得到的常数结果即可
在这里插入图片描述
高斯核对应的两个向量的维度是无限的
在这里插入图片描述
这里当d确定时，下面两个向量的维度也是有限的

在这里插入图片描述

总结2

在这里插入图片描述

优化理论补充

**在这里插入图片描述**
在这里插入图片描述
这里 限制条件可以通过添加负号 增加常数来实现变化，所以具有普适性
在这里插入图片描述
在这里插入图片描述

2中的最大化是在确定α和β的情况下，遍历所有的w，求L的最小值。所以每确定一个α和β，都会求出一个对应的最小值，然后再求这些最小值中最大的

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里的证明略，作为已知条件使用
此时从
在这里插入图片描述
所有等号成立 即可推出
在这里插入图片描述

思路：将原问题（最小化）化为对偶问题，用求解对偶问题的方式来求解原问题的解

将SVM化为对偶问题

凸函数
在这里插入图片描述
在这里插入图片描述
将右边进行变形以适配左边
在这里插入图片描述
在这里插入图片描述
此时右边的α和β对应左边的α 而左边的β在右边没有对应的（因为没有xxx=0的限制条件

在这里插入图片描述
推出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
此时，将左边对应的值代入右边的式子
在这里插入图片描述
在这里插入图片描述
此时已经用k代替了这里的φ函数
在这里插入图片描述
综上
在这里插入图片描述
在这里插入图片描述
此时，便把β隐藏了
在这里插入图片描述
在这里插入图片描述
所以！
在这里插入图片描述
此外
求出α以后
我们实际上不需要知道w 因为：
在这里插入图片描述
b的算法需要用到KKT条件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
现实中 会取所有的α的值并求出b 然后求平均值

总结3

在这里插入图片描述
在这里插入图片描述
完全消掉了φ函数 只出现了k

实战

在这里插入图片描述
用线性内核等于没有用核
多项式核 φ函数的维度随d的升高而升高
高斯核对应的φ函数的维度是无限的
开始 调参

在这里插入图片描述

SVM处理多类问题

在这里插入图片描述

努力敲代码的小方
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
浙江大学SVM(支持向量机)（经典课件）
12-25
浙江大学SVM(支持向量机)（经典课件）讲的很详细，值得看
浙大机器学习课程-3-支持向量机（线性模型）
想握住此生辽阔
08-03 465
线性模型问题 对于样本数较少，都能得到较好的结果 20世纪70年代，一个苏联人发明了这个方法 凡是可以用一条直线分开的，我们称为线性可分样本集 如何在线性可分样本集上画一条直线（有无数条直线可以分开，那么哪一条直线最好） 2号线对于误差的容忍度更大一点，跟样本分布有关系 对于任意一条可以分开○和×的线，定义一个性能指标d 推荐书籍：支持向量机导论 数学描述 d：间隔（margin） 支持向量机是一个最大化间隔的方法 直线移动的过程中切到的点（向量）称为支持向量，最后做出来的线只与支持向量有关（能够用
浙江大学《机器学习》MOOC课程笔记 支持向量机SVM（二）
prince75的博客
10-07 517
转化为对偶问题 将SVM的优化问题改造为原问题 为了让改进至目前的SVM的优化问题满足强对偶定理，而原问题中的gi(w)≤0g_i(w)≤0gi​(w)≤0，故首先要将SVM的两个限制条件由≥0≥0≥0进行改造 此时原问题中的 而不等式gi(w)≤0g_i(w)≤0gi​(w)≤0被分成了两部分 由于问题中全为不等式，故不存在hi(w)=0h _i(w)=0hi​(w)=0项。 按照对偶问题的定义将对偶问题写成如下形式： 其中αi,βi\alpha_i,\beta_iαi​,βi​分别是改造两个gi
浙江大学人工智能课程课件
11-18
浙江大学人工智能课程课件，内容有： Introduction Problem-solving by search( 4 weeks) Uninformed Search and Informed (Heuristic) Search （1 week） Adversarial Search: Minimax Search, Evaluation Functions, Alpha-Beta Search, Stochastic Search Adversarial Search: Multi-armed bandits, Upper Confidence Bound (UCB),Upper Confidence Bounds on Trees, Monte-Carlo Tree Search(MCTS) Statistical learning and modeling (5 weeks) Probability Theory, Model selection, The curse of Dimensionality, Decision Theory, Information Theory Probability distribution: The Gaussian Distribution， Conditional Gaussian distributions， Marginal Gaussian distributions， Bayes’ theorem for Gaussian variables， Maximum likelihood for the Gaussian， Mixtures of Gaussians, Nonparametric Methods Linear model for regression: Linear basis function models； The Bias-Variance Decomposition Linear model for classification ： Basic Concepts; Discriminant Functions (nonprobabilistic methods); Probabilistic Generative Models; Probabilistic Discriminative Models K-means Clustering and GMM & Expectation–Maximization (EM) algorithm, BoostingThe Course Syllabus Deep Learning (4 weeks) Stochastic Gradient Descent, Backpropagation Feedforward Neural Network Convolutional Neural Networks Recurrent Neural Network (LSTM, GRU) Generative adversarial network (GAN) Deep learning in NLP (word2vec), CV (localization) and VQA(cross-media) Reinforcement learning (1 weeks) Reinforcement learning: introduction
浙江大学机器学习配套资源（胡老师）.rar
09-09
这是浙江大学胡老师机器学习的相关配套资源，包含 课程PPT 编程大作业 编程作业 课堂笔记 例程 纸质作业 希望能对机器学习爱好者提供便捷的帮助，大家一起加油！
Python机器学习(scikit-learn)：监督学习 - 支持向量机-谢TS的博客.pdf
07-19
**支持向量机(SVM)** 是一种监督学习算法，广泛应用于分类、回归和异常值检测任务。SVM的核心思想是找到一个最优超平面，将不同类别的数据尽可能地分开，同时最大化类别之间的间隔。在高维空间中，即使样本数量少于...
机器学习语义分割-随机森林，支持向量机，GBC Machine learning semantic segmentation
08-25
svm支持向量机python代码 机器学习语义分割-随机森林，支持向量机，GBC Machine learning semantic segmentation - Random Forest, SVM, GBC.zip
数据挖掘机器学习-支持向量机libsvm实验报告.docx
06-16
支持向量机（Support Vector Machine，简称SVM）是一种广泛应用于数据挖掘和机器学习领域的监督学习模型，尤其在分类和回归任务中表现出色。实验报告的主题是“数据挖掘机器学习-支持向量机libsvm实验”，它涉及到...
数学建模-统计学习理论--支持向量机.zip
01-20
支持向量机（Support Vector Machine，SVM）是机器学习领域一种强大的算法，尤其在分类和回归任务中表现优秀。该算法基于统计学习理论，旨在找到一个最优的超平面，将不同类别的数据尽可能地分开。这个超平面是使得...
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
SVM支持向量机浙江大学胡浩基课程笔记 -SVM原理 -优化过程 -核函数 -兵王问题应用
SpaceSunflower 's ML/DL home
12-05 427
【SVM】支持向量机浙江大学胡浩基课程笔记 -SVM原理 -优化过程 -核函数 -兵王问题应用
【机器学习·浙江大学】机器学习概述、支持向量机SVM（线性模型）
Yaoyao2024的博客
04-07 1379
支持向量机就是最大化margin的方法将直线上下移动所穿过的向量称为：支持向量（support vectors)——为什么呢？因为我们从上文讲到的确定最终直线的方法来看，最大化距离、确定直线，只和这几个穿过的支持向量有关（这也是为什么SVM适合小样本问题）X→1y1X1​y1​X→2y2X2​y2​X→3y3X3​y3​X→NyNXN​yN​X→X是特征向量；
浙江大学机器学习（胡浩基）课程学习笔记一：概述与支持向量机
qq_46056318的博客
07-29 2036
机器学习一个计算机程序被称为可以学习，是指它能够针对某个任务T和某个性能指标P，从经验E中学习。这种学习的特点是，它在T上的被P所衡量的性能，会随着经验E的增加而提高。（较之定义一更数学化）任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对数据在特征空间的先验分布有一定的假设，那么表现好与表现不好的情况一样多。如果原问题的目标函数是凸函数，限制函数为线性函数，则f(ω*)=θ(α*，β*)SVM是先解决线性可分的问题，然后将线性可分的结论推广到线性不可分中。...
人工智能——支持向量机（SVM）思维导图，2024年最新面经解析
最新发布
2401_84138785的博客
04-16 175
2.1 线性可分分类器。
机器学习损失函数
yangqiang1997的博客
01-15 832
最小二乘法 期望和实际值的方差作为损失函数，1/2是为了方便求导。 实际值又是通过权重W和偏置项b来确定，所以我们可以对它训练。 极大似然估计 我们以抛硬币为例，左边的是我们假设的概率模型，右边是真实世界的实验结果。 c1，c2，c3…c10是该情况发生的概率，西塔是给定的概率模型。 我们计算上述三种情况得到的概率，如下图所示 我们发现第二种模型，概率最大。这些我们假设模型计算的结果叫做似然值，而最大的似然值就是最大似然值。我们就可以认为最大似然值的概率模型越能描述现实世界。 如何训练呢？其中概率依赖于W和
《opencv实用探索·二十三》支持向量机SVM处理线性不可分数据
cs1395293598的博客
03-11 897
以二维平面为例，如果在这个二维平面中有两堆不同类型的样本，如果能找到一条线把这两种类型的样本分开至线的两侧，那么就称这个样本集是线性可分，反之就是线性不可分。本例中我们通过该函数给向量空间着色， 即将图像中的每个像素当作卡迪尔平面上的一点，每一点的着色取决于SVM对该点的分类类别：深绿色表示分类为1的点，深蓝色表示分类为2的点。这样，通过遍历整个图像，根据 SVM 模型的分类结果，将图像的不同区域标记为不同的颜色，从而可视化 SVM 模型对数据的分类效果，最后在画出训练数据和支持向量。
SVM解决线性不可分问题
m0_62064241的博客
07-10 1257
宋朝的苏轼有诗云“横看成岭侧成峰，远景高低各不同，不识庐山真面目，只缘身在此山中”诗的前两句指的从不同的角度看待一个事物会得到不一样的结果，用这句诗来引出的“高维映射”这个概念再合适不过了。 支持向量机的三大核心构件分别是最大间隔、高维映射以及核函数。高维映射则是支持向量机的第二个核心构件。我们知道线性分类器最大的特点就是简单，说白了就是“一根筋”，当面对非线性分类问题时不知变通，因此就需要帮助它疏通一下，就像解决 Logostic 逻辑回归问题一样，高维映射就是我们要寻找的方法。1) 超平面高维映射主要是
介绍一下SVM，遇到线性不可分怎么办，核函数有什么特点
qq_39173848的博客
06-04 897
从上面的介绍中可以发现，SVM显然是线性分类器，但是数据上线性不可分该怎么办。数据在原始空间上，即输入空间，线性不可分，但是映射到高维空间，即特征空间，后很可能就线性可分了。但是映射到一个高维空间同时带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多，这就是所谓的“维数灾难”。这时候就需要一个核函数，隐形地将样本从原始特征空间映射到更高维的空间，并解决原始特征问题的线性不可分问题。核函数虽然将特征从低维到高维的转换，但是它事先从低维开始计算，而将实质上的分类效果表现在了高维上
菊安酱详解：支持向量机——机器学习系列第5期
"菊安酱的机器学习系列是一系列关于Python机器学习的在线课程，由...菊安酱的机器学习第5期——支持向量机，是一次深入浅出的入门级SVM教学，适合初学者和有一定基础的观众进一步理解和掌握这一关键的机器学习算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值