浙大机器学习课程-6-支持向量机（SVM处理非线性可分2，低维到高维映射2）

于 2020-08-24 09:37:01 发布
阅读量326 收藏
点赞数
分类专栏： 浙大机器学习课程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningmengshuxiawo/article/details/108192865
版权

在这里插入图片描述
上面是w的一种取值情况

当前w的取值刚好把高维x1,x2,x3,x4分成两类，（1.3>0）（-1.-1<0）
在这里插入图片描述
结论：把x移动到高维，更有可能被一个线性的超平面分开,维度越高，被线性分开的概率越大，当维度无穷，线性分开的概率为1

如何选取fai（x）(SVM最有创造力的方面)

①fai（x）选择无限维效果会好一点
在这里插入图片描述
根据这个条件，w也会是无限维（整个的优化将会不可做）
在这里插入图片描述核函数的自变量是两个地位向量x1,x2,值是fai(x1)和fai（x2）的內积，得到的是一个数

常用核函数

高斯核，多项式核，d是多项式阶数（fai的维度与d对应），即定义了一个值，可以拆解成fai(x1)Tfai(x2)
在这里插入图片描述

在这里插入图片描述

优化问题的解决依赖于fai,现在需要解决的问题是用k替代fai,让优化问题变得可解

在这里插入图片描述

此生辽阔
关注
专栏目录
机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数
机器学习算法与Python学习
09-24 1204
微信公众号关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第二【Python】：排名第三【算法】：排名第四前言在（机器学习（15）之支持向量机原理(一)线性支持向量机）和（机器学习(16)之支持向量机原理(二)软间隔最大化）中我们讲到了线性可分SVM的硬间隔最大化和软间隔最大化的算法，它们对线性可分的数据有很好的处理，但是对完全线性不可分的数据没有办法。本文我们就来探讨SVM如何
机器学习1——支持向量机（SVM）详细理论推导【图文版】
Hodor's AI Dream
07-23 686
一、线性可分情况的支持向量机 1、引例 我们希望找到一条直线，来分开圆圈和叉。支持向量机 Support Vector Machine, SVM 是一种能够很好处理中等大小数据集的广义二元线性分类器。 SVM属于监督学习 Supervised Learning 的一种，通过对带有标签 Label 的数据特征的学习，画出一条线、平面或者超平面 Hyper Plane 来分开不同的样本，即将每个样本分到不同的类，这样在给出一个新样本后，我们通过这个新样本的特征就可以判断它属于哪一类。 SVM既可以用来做分类
浙大机器学习课程-5-支持向量机（SVM处理非线性可分2，低维到高维映射）
想握住此生辽阔
08-09 1195
上文提到的加正则项的处理方法，也只是找出一条直线，对于下面的情况，却无能为力，能够找出一条直线，但是对于解决问题却没有太大的帮助 如果能找到这样一个曲面就好了，但是上文的方法限定了是找出一条直线 于是，针对这样上文非线性问题，提出了一个合理化的解决途径 SVM的创始人提出去高维空间找一条直线。定义了一个高维映射 x矢量通过映射变成 x是低维的矢量，是高维的矢量 在低维空间线性不可分的数据集到了高维空间将会以更大的概率被线性分开，解决方法不是在低维空间找不是直线的决策面，而是把低维的矢量映射到高维去，再
SVM入门（六）线性分类器的求解——问题的转化，直观角度
lovejuan1314的专栏
04-23 168
摘自：[url]http://www.blogjava.net/zhenandaci/archive/2009/03/01/257237.html[/url] 让我再一次比较完整的重复一下我们要解决的问题：我们有属于两个类别的样本点（并不限定这些点在二维空间中）若干，如图， [img]http://www.blogjava.net/images/blogjava_net/zhenand...
机器学习——支持向量机SVM之非线性模型（低维到高维映射）
python_AI_fans的博客
06-05 6488
一、非线性模型的最优化问题 1、非线性模型最优化模型 2、两个概念 1）正则项（regularization term） 2）调参参数 2、高维映射 1）定义及作用 2）高维映射后的最优化模型 3）异或问题（例子） 4）如何定义映射？（寻找确定映射关系——核函数的确定） 核函数与高维映射的关系： 常用核函数： 核函数K可以拆写成高维映射的内积的条件：
kernel function
weixin_30765319的博客
10-19 446
下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。我们现在考虑核函数，即“内积平方”。这里面是二维空间中的两个点。这个核函数对应着一个二维空间到三维空间的映射，它的表达式是：可以验证，在P这个映射下，...
大数据与数据挖掘技术 浙江大学人工智能引论 统计学习理论SLT与SVM支持向量机 共68页.ppt
02-03
此外，SVM还能通过核技巧处理非线性问题，将数据映射到高维空间以实现线性可分。 综上所述，统计学习理论与支持向量机是现代大数据和数据挖掘技术中不可或缺的工具，它们在处理复杂问题时展现出强大的理论支持和...
支持向量机(SVM)算法详解：浙江大学课程解析
相反，它允许使用大量的“弱特征”，并通过核函数将数据映射到高维空间，使得原本非线性可分的数据在高维空间中变得线性可分，从而实现高效的学习和分类。 总结来说，支持向量机是一种强大的机器学习算法，它利用...
统计学习理论与SVM：浙江大学支持向量机课件解析
其中，核函数允许我们将数据映射到高维空间，使得原本在原始空间中非线性可分的数据变得线性可分。 传统学习方法通常依赖于特征选择，试图找出少量关键特征进行建模。而SVM则持有不同的信念，认为大量看似弱的特征...
统计学习理论与SVM：支持向量机的深度解析
核函数允许我们将原始数据映射到高维空间，使得原本非线性可分的问题变得线性可分。这使得支持向量机能够处理具有大量“弱特征”的问题，无需预先确定哪些特征是最重要的。这种“弱学习”思想是支持向量机区别于传统...
SVM入门（七）为何需要核函数
lovejuan1314的专栏
04-23 917
摘自：[url]http://www.blogjava.net/zhenandaci/archive/2009/03/06/258288.html[/url] 生存？还是毁灭？——哈姆雷特 可分？还是不可分？——支持向量机 之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，...
关于线性SVM以及非线性SVM的问题
Armily的专栏
12-30 9627
犹记得开题报告之际，我在报告中提出了采用线性SVM进行分类，胡老师提出问题，让我解释什么是线性SVM，而我却解释不清楚，顿时特别尴尬，后来查阅了比较多的相关内容，希望能有所感悟。下面开始讨论正题：        支持向量机 (SVM)是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记(label)好的训练样本 (监督式学习),SVM算法输出一个最优
有关SVM里面的低维映射到高维的一点思考
richard1230的博客
06-26 4646
文章目录前言一个例子 前言 之前在学习SVM的时候,看到一个比较有意思的特性,特此记录一下; 一个例子 x=(x1,x2),z=(z1,z2)x = ( x_{1},x_{2} ), z = ( z_{1},z_{2} )x=(x1​,x2​),z=(z1​,z2​),X和Z都是低维度空间里的两个向量,下面做一些比较简单的运算: xTz=(x1z1+x2z2)x^{T}z=(x_{1}z_{1...
线性不可分到线性可分--低维空间映射到高维空间
weixin_30670965的博客
02-01 2405
二维平面上的点无法用一条直线分开，可以将其按照一定规则映射到三维空间中，用超平面将其分开 转载于:https://www.cnblogs.com/yan456jie/p/5369522.html...
支持向量机通俗导论（理解SVM的三层境界）
用法之妙，存乎一心。
09-12 3985
支持向量机通俗导论（理解SVM的三层境界） 作者：July ；致谢：pluskid、白石、JerryLead、画儿。 出处：结构之法算法之道blog。 前言     动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也
机器学习笔记：支持向量机（SVM）详细推导以及sklearn.svm.SVC的简单简介
nanamichan的博客
06-30 1113
模型 支持向量机 ( SVM ) 是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧，使它成为实质上的非线性分类器。分离超平面$\begin{aligned}w^{\ast }\cdot x+ b^{\ast }\end{aligned} = 0$，分类决策函数 ...
低维数据映射到高维数据可分性理解实例
minyzhu的专栏
03-15 8024
今天又看到了SVM，之前一直对SVM将低维数据映射到高维数据理解较为抽象，今天偶然想到一个理解实例，希望能够与刚接触机器学习的战友们分享。         事情是这样的，今晚吃晚饭时看到一小孩气球破了，地上落了一些碎片，有几种颜色，突然意识到对于这些碎片，这不就是高维映射到低维（三维球面映射到二维的地面上）的情形吗？         假如气球是红黑颜色各涂一半的，爆炸之后落在地上时各色碎片相互
低维数据通过核函数映射到高维空间（Gaussian Radial Basis Function）
热门推荐
tina的博客
07-07 2万+
参考下面是一段matlab代码，可以实现利用Gaussian Radial Basis Function将低维数据映射到高维空间，以二维数据为例：生成一个2D平面figure; axis([-10 10 -10 10]) hold on grid on;利用鼠标在该2D平面上取两组点初始化red = []; %存放第一组点，红色点 blue = []; %存放第二组点，蓝色点下面开始手动获取（即用鼠
svm低维数据映射到高维数据可分性理解实例
小x的博客
05-17 4581
今天又看到了SVM，之前一直对SVM将低维数据映射到高维数据理解较为抽象，今天偶然想到一个理解实例，希望能够与刚接触机器学习的战友们分享。 事情是这样的，今晚吃晚饭时看到一小孩气球破了，地上落了一些碎片，有几种颜色，突然意识到对于这些碎片，这不就是高维映射到低维（三维球面映射到二维的地面上）的情形吗？ 假如气球是红黑颜色各涂一半的，爆炸之后落在地上时各色碎片相互交错，基本没有一条二维曲线可以将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值