浙大机器学习课程-5-支持向量机（SVM处理非线性可分2，低维到高维映射）

最新推荐文章于 2022-05-04 16:39:09 发布
最新推荐文章于 2022-05-04 16:39:09 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 浙大机器学习课程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningmengshuxiawo/article/details/107895421
版权

上文提到的加正则项的处理方法，也只是找出一条直线，对于下面的情况，却无能为力，能够找出一条直线，但是对于解决问题却没有太大的帮助
在这里插入图片描述
如果能找到这样一个曲面就好了，但是上文的方法限定了是找出一条直线

在这里插入图片描述
于是，针对这样上文非线性问题，提出了一个合理化的解决途径
SVM的创始人提出去高维空间找一条直线。定义了一个高维映射在这里插入图片描述
**加粗样式**

x矢量通过映射变成在这里插入图片描述
x是低维的矢量，在这里插入图片描述是高维的矢量

在低维空间线性不可分的数据集到了高维空间将会以更大的概率被线性分开，解决方法不是在低维空间找不是直线的决策面，而是把低维的矢量映射到高维去，再在高维空间找直线把他们分开

举例：异或问题

在这里插入图片描述
二维空间中最简单的非线性可分问题（找不出一条直线把⚪和×分开）

在这里插入图片描述给每一个点加上坐标，C1，C2是两个类
在这里插入图片描述
低维到高维映射有很多种，上图的映射方式是把x这个二维向量通过一种映射方式，映射为5维的向量（映射到5维空间）
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
w与x的维度是一样的，x是二维，w就是二维
在这里插入图片描述

当x映射到高维，w求出来也是高维的

题外
决策树是找到一个方的形状，再把这些方的形状叠加到一起，形成一个平面（决策面）

机器学习——支持向量机SVM之非线性模型（低维到高维映射）

此生辽阔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
每天五分钟机器学习：支持向量机算法如何完成高维空间的特征映射
huanfeng_AI的博客
11-13 712
我们在上个课程中学会了如何通过标记点以及核函数学习样本的新的特征，然后训练出非常复杂的非线性判别边界的。但是有一些内容并没有讲到，而这个课程就是为了解释上节课程没有涉及到的内容，l(1)、l(2)、l(3),而且在复杂的系统中可能需要更多的标记点。
RBF网络——核心思想：把向量从低维m映射到高维P，低维线性不可分的情况到高维就线性可分了...
weixin_33827965的博客
11-09 1073
RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。 输入X是个m维的向量，样本容量为P，P>m。可以看到输入数据点Xp是径向基函数φp的中心。隐藏层的作用是把向量从低维m映射...
有关SVM里面的低维映射到高维的一点思考
richard1230的博客
06-26 4601
文章目录前言一个例子 前言 之前在学习SVM的时候,看到一个比较有意思的特性,特此记录一下; 一个例子 x=(x1,x2),z=(z1,z2)x = ( x_{1},x_{2} ), z = ( z_{1},z_{2} )x=(x1​,x2​),z=(z1​,z2​),X和Z都是低维度空间里的两个向量,下面做一些比较简单的运算: xTz=(x1z1+x2z2)x^{T}z=(x_{1}z_{1...
浙大机器学习课程-6-支持向量机（SVM处理非线性可分2，低维到高维映射2）
想握住此生辽阔
08-24 313
上面是w的一种取值情况 当前w的取值刚好把高维x1,x2,x3,x4分成两类，（1.3>0）（-1.-1<0） 结论：把x移动到高维，更有可能被一个线性的超平面分开,维度越高，被线性分开的概率越大，当维度无穷，线性分开的概率为1 如何选取fai（x）(SVM最有创造力的方面) ①fai（x）选择无限维效果会好一点 根据这个条件，w也会是无限维（整个的优化将会不可做） 核函数的自变量是两个地位向量x1,x2,值是fai(x1)和fai（x2）的內积，得到的是一个数 常用核函数 高斯核，多项式.
机器学习——支持向量机SVM之非线性模型（低维到高维映射）
python_AI_fans的博客
06-05 5998
一、非线性模型的最优化问题 1、非线性模型最优化模型 2、两个概念 1）正则项（regularization term） 2）调参参数 2、高维映射 1）定义及作用 2）高维映射后的最优化模型 3）异或问题（例子） 4）如何定义映射？（寻找确定映射关系——核函数的确定） 核函数与高维映射的关系： 常用核函数： 核函数K可以拆写成高维映射的内积的条件：
机器学习课程作业-基于使用支持向量机(SVM)来构建垃圾邮件分类器(matlab完整源码).zip
01-06
机器学习课程作业_基于使用支持向量机(SVM)来构建垃圾邮件分类器(matlab完整源码).zip 机器学习课程作业_基于使用支持向量机(SVM)来构建垃圾邮件分类器(matlab完整源码).zip 机器学习课程作业_基于使用支持向量机...
华中科技大学，机器学习课程设计大作业，KNN实现红酒分类、感知机癌细胞识别、朴素贝叶斯进行新闻主题分类、支持向量机SVM分类实践
06-21
华中科技大学，机器学习课程设计大作业，KNN实现红酒分类、感知机癌细胞识别、朴素贝叶斯进行新闻主题分类、支持向量机SVM分类实践 目录结构 | +--+ educoder-tasks # educoder 平台上的作业 | +--+ 1-机器学习 -...
机器学习与数据挖掘-支持向量机(SVM)（一）
最新发布
06-21
3. **核函数（Kernel Trick）**: SVM通过核函数将原始数据映射到高维空间，使得原本线性不可分的数据在新的空间中变得可分。常见的核函数有线性核、多项式核、高斯核（RBF）等。 二、SVM的工作流程 1. **数据...
机器学习之深度学习基础--支持向量机（SVM）视频教学
06-09
"核函数"是SVM中的魔法成分，它允许我们将数据从原始低维空间映射到高维特征空间，使得在高维空间中的线性可分性在原空间可能成为非线性可分。常见的核函数有线性核、多项式核、高斯核（RBF）等，每种核函数对应不同...
SVM-checkpoint_机器学习_支持向量机_SVM_
10-03
1. **核函数**：SVM的一大优势在于它能处理非线性可分的数据。通过核函数（如线性核、多项式核、RBF（高斯核）和Sigmoid核），SVM可以在原始特征空间中无法找到超平面的情况下，在高维特征空间中找到解决方案。RBF核...
【周志华机器学习】十、降维与度量学习
weixin_42301220的博客
04-08 1474
文章目录参考资料1. 维数灾难2. K近邻学习（kNN）2.1 分析2.2 KNN最近邻分类算法的过程3. MDS算法 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。 如果本篇博客有后记部分，则该部分表示的是在书本原有的基础知识上，进行的知识点的扩充。 1. 维数灾难 样本的特征数称为维数（dimensionality
svm支持向量机--下
weixin_43971026的博客
05-04 575
实例总结 接着对上面的实例进行一些总结，一直在思考一个问题，为什么a2为0，是不是偶发的时间，但是如果再代入几个在和a2在同一条线上的点，得到的类似的ai也是0，所以从这边不难得出一个结论，无论在增加几个点，都不会对决策边界产生变化，前提是，一定不能使得离决策边界近的点发生改变，如果在满足这个前提下，那么加入多少点，都不会使得上文求出的函数发生变化，所以我们从这边就可以体会到，为什么叫作支持向量机，因为是由一个个坐标点，支撑着这个决策边界的，当坐标点发生变化的时候，函数也会发生变化。 w=aixiyi的和（
非线性支持向量机
qq_41802245的博客
02-25 342
非线性支持向量机 对于非线性可分的数据集，无法直接用超平面对数据进行分类。但我们可以将数据投影到新的空间中，使得数据在新的空间是线性可分的，再在这个空间用使用线性分类方法如支持向量机模型进行分类。 在上述的支持向量机模型当中，我们只需要计算到样本之间的内积，假设ϕ(x)\phi(x)ϕ(x)是原始空间中到新空间的映射，则在新的空间中计算分隔超平面只需要用到内积(ϕ(xi)⋅ϕ(xj))(\phi(...
SVM
世上再无张显宗
10-13 907
1.核支持向量机是非常强大的模型，在各种数据集上的表现都很好。svm允许决策边界很复杂，即使数据只有几个特征。它在低维数据和高维数据（即很少特征和很多特征）上都表现都很好，但对样本个数的缩放表现不好。在有多达10000个样本的数据上运行svm可能表现良好，但如果数据量达到100000甚至更大，在运行时间和内存使用方面可能会面临挑战。 svm的另一个缺点是预处理数据和调参都需要非常小心，这也是为什么如今很多应用中用都都是基于树的模型，比如随机森林和梯度提升（需要很少的预处理，甚至不需要预处理）。此外，svm模
低维数据通过核函数映射到高维空间（Gaussian Radial Basis Function）
tina的博客
07-07 2万+
参考下面是一段matlab代码，可以实现利用Gaussian Radial Basis Function将低维数据映射到高维空间，以二维数据为例：生成一个2D平面figure; axis([-10 10 -10 10]) hold on grid on;利用鼠标在该2D平面上取两组点初始化red = []; %存放第一组点，红色点 blue = []; %存放第二组点，蓝色点下面开始手动获取（即用鼠
精通数据科学笔记 生成式模型
techfei的博客
09-05 468
朴素贝叶斯：假设特征是条件独立，可用于文本分类，常作为原子模型与其他模型联结(connectionism) 判别式分析：假设特征类别已知的条件下服从正态分布，允许自变量之间有相关关系，只能处理连续型变量，常用来进行数据降维和联结其他模型，如 Gaussian HMM 隐马尔可夫模型：可用来处理序列数据，是在简单的生成式模型基础上加入马尔科夫链构成的简单图模型。可用于监督学习和非监督学习。 贝...
机器学习：SVM（核函数、高斯核函数RBF）
ab1213456的博客
08-12 9166
一、核函数（Kernel Function） 　1）格式 K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值； 在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' .y' 得到的值； 　2）多项式核函数 业务问题：怎么分类非线性可分的样本的分类？ ...
SVM 处理高维小样本数据
u012562302的博客
12-28 1万+
1.降维的时候 用PCA n_comments=0.99 保留99%的信息 2.SVM  分为SVC(分类）SVM（回归） 3.Leave One Out 进行训练集和测试集的划分 具体代码见 https://github.com/qqxze/SVM
SVM（支持向量机）详解
热门推荐
wqthaha的专栏
10-31 3万+
SVM 1、支持向量机发展历史 1963年，Vapnik在解决模式识别问题时提出了支持向量方法。起决定性作用的样本为支持向量 1971年，Kimeldorf构造基于支持向量构建核空间的方法 1995年，Vapnik等人正式提出统计学习理论。 通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，
支持向量机(SVM)入门教程：从线性可分到非线性处理
对于非线性可分的数据，SVM通过引入核函数（如高斯核、多项式核或径向基函数核）将原始数据映射到高维空间，使得在高维空间中找到一个线性超平面成为可能。这种方法被称为核技巧，它可以将复杂的非线性决策边界转化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值