机器学习-学习笔记 支持向量机

最新推荐文章于 2024-07-02 22:55:56 发布
最新推荐文章于 2024-07-02 22:55:56 发布
阅读量637 收藏 1
点赞数
分类专栏： MATLAB 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linglian0522/article/details/75579659
版权

支持向量机

间隔与支持向量

这里写图片描述

划分超平面可通过如下线性方程来描述:

这里写图片描述

下图中的等式称为支持向量，二个等式之间的距离称为间隔。

这里写图片描述

目的就是找到最大间隔的划分超平面。
这里写图片描述

对偶问题

这里写图片描述
由上述式子可以得到对偶问题
这里写图片描述

最终得到如下公式

满足条件
这里写图片描述

核函数

异或问题就不是线性可分的。
这里写图片描述

核函数，支持向量展式
这里写图片描述

核函数定理

支持向量机 通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

这里写图片描述

软间隔与正则化

为了缓解过拟合问题，引入软间隔的概念。
这里写图片描述

前面介绍的间隔为硬间隔，即所有样本都必须划分正确，而软间隔则允许有特例。

这里写图片描述

在最大化间隔的同时，不满足约束的样本应该尽可能的少，所以，优化目标可写成
这里写图片描述

人们通常使用一些其他函数来代替上述中的l，称为替代损失。
通常有以下三种
这里写图片描述

这里写图片描述

软间隔支持向量机（hinge损失）

这里写图片描述

接着引入松弛变量

这里写图片描述

得到的对偶问题

这里写图片描述

KKT条件
这里写图片描述

得出，软间隔支持向量机的最终模型仅与支持向量有关，即hinge损失函数仍然保持了稀疏性。

正则化

这里写图片描述

概念
这里写图片描述

支持向量回归(SVR)

就是通过一定的差值判断，而不是以前的必须完全相同才算正确的样例。
这里写图片描述

问题形式化：

这里写图片描述
其中的不敏感损失函数
这里写图片描述
引入松弛变量

这里写图片描述

最后可得
这里写图片描述

若考虑特征映射形式
这里写图片描述

核方法

定理

这里写图片描述

何为核方法
这里写图片描述

DLNU-linglian
关注
专栏目录
机器学习笔记 - 什么是支持向量回归(SVR)？
学以致用 知行合一
04-14 5万+
SVM 回归算法称为支持向量回归或SVR。支持向量回归是一种监督学习算法，用于预测离散值。支持向量回归使用与 SVM 相同的原理。SVR 背后的基本思想是找到最佳拟合线。在 SVR 中，最佳拟合线是点数最多的超平面。 ​ SVR将输入的数据的原始空间映射到更高维的特征空间，通常通过非线性高斯核函数实现。在特征空间中，问题变成了拟合数据的最优线性平面的构造。
机器学习笔记（十）-支持向量机（SVM）
zxq997997的博客
03-16 412
本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。作者能力有限，如有错误等，望联系修改，非常感谢！ 机器学习笔记（十）-支持向量机（SVM）一、优化目标二、大边界的直观理解三、大边界分类背后的数学（选）四、核函数1五、核函数2六、使用SVM 第一版       2022-03-15        初稿 一、优化目标 我们从逻辑回归展示 最后有别于逻程回归输出的概率。在这里，我们的代价函数，
支持向量机常用核函数
11-14
该代码把支持向量机中常用的核函数单独拿了出来，对于需要用核函数处理数据的同学大有帮助。
支持向量机（四）-- 核函数
weixin_34352449的博客
04-12 253
一、核函数的引入 问题1： SVM显然是线性分类器。但数据假设根本就线性不可分怎么办？ 解决方式1： 数据在原始空间（称为输入空间）线性不可分。可是映射到高维空间（称为特征空间）后非常可能就线性可分了。 问题2： 映射到高维空间同一时候带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多，这就是所谓的“维数灾难”。 解决方式2： 于...
支持向量机及其核函数
2301_77444219的博客
07-02 921
在最简单的情况下，即数据是线性可分的，SVM的目标是找到一个超平面（淡蓝色的区域），它不仅能够正确分类数据，而且与最近的点（支持向量）之间的距离最大化（中间的实线）。支持向量机是一种强大的分类器，其通过核函数扩展到非线性问题的能力，使其在机器学习领域中具有独特的地位。软间隔SVM允许正支持平面的负侧有正样本，也允许负支持平面正侧有负样本，它的目标在于，尽量让两个支持面的距离更大的同时。我们可以看见生成的分类效果图，但这里的分类效果不好因为核函数选择的不完美需要不断尝试，这是支持向量机中最难的部分。
支持向量机核函数
Darlewo
02-27 3169
转载自https://blog.csdn.net/sunflower_sara/article/details/81228112 一、支持向量机与核函数 支持向量机的理论基础（凸二次规划）决定了它最终求得的为全局最优值而不是局部最优值，也保证了它对未知样本的良好泛化能力。 支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函...
机器学习-支持向量机核函数
weixin_43761642的博客
10-25 677
核函数 核函数的目的：改造支持向量机来处理非线性问题 如何选择高阶的特征值，哪些高阶的特征值是我们真正需要的 为了方便可视化，我们假定只有两个特征x1,x2 我们手动选择3个点l1,l2,l3 我们想选取新的特征值 于是用下图的相似度函数f1,f2,f3来表示新的特征值，也记做 K（x,l） 计算公式就是下图算是，其中被双竖线框住的是landmark l的欧式距离（也就是两点间的距离） σ（高斯核...
支持向量机(svm)--核函数
AI_dataloads的博客
09-26 7404
本文介绍了核函数的基本概念、原理、性质和计算方法，并探讨了其在机器学习中的应用和优化方法。通过选择合适的核函数，可以有效地提高机器学习算法的性能和结果，处理高维x_%7Bi%7Dx_%7Bj%7Dx_%7Bi%7Dx_%7Bj%7D%5Cgammax_%7Bi%7Dx_%7Bj%7D。
机器学习-SVM-mas笔记
最新发布
08-12
机器学习_SVM-mas笔记
code-master-支持向量，很值得参考的学习笔记
06-27
学习支持向量机（SVM）可以通过以下步骤进行： 基础知识： 学习基础的线性代数、概率论和统计学知识。 熟悉机器学习的基本概念，如监督学习、分类、回归等。 理论学习： 阅读关于SVM的理论介绍，理解其基本原理，如...
支持向量机(SVM)之核函数
liyunfei0816的博客
11-26 6565
0x00 摘要 本文在少用数学公式的情况下，尽量仅依靠感性直觉的思考来讲解支持向量机中的核函数概念，并且给大家虚构了一个水浒传的例子来做进一步的通俗解释。 0x01 问题 在学习核函数的时候，我一直有几个很好奇的问题。 Why 为什么线性可分很重要? Why 为什么低维数据升级到高维数据之后，就可以把低维度数据线性可分? What 什么是核函数，其作用是什么? How 如何能够找到核函数? 不知道大家是否和我一样有这些疑问，在后文中， 我将通过逐步的学习梳理为大
[机器学习] - 支持向量机（四）：核函数
ZhuNian的学习乐园
06-16 1780
本文介绍SVM的核函数技术，能够顺利的解决非线性的问题。样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。
【补充知识】支持向量机和核函数
weixin_55703970的博客
10-13 2864
这篇里讲到要用核函数的方法避免计算协变量，就从周志华老师的西瓜书上找了章节来看，做个笔记备用。
【机器学习】支持向量机中的核函数（理论+图解+公式推导）
CSDN 精品推荐
08-20 3625
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、概述二、核函数三、证明Gram matrix为半正定矩阵的必要性四、SVM支持向量机中的核函数 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、概述 我们之前讲解的硬间隔支持向量机或者像一些感知机算法，它们都是适用于线性可分的数据的，如果面对不可分的数据SVM有引出了软间隔的概念，可以容忍犯一些错误，降低一些标准，来达到对.
支持向量机——核函数介绍
dudu3332的博客
02-16 348
https://wizardforcel.gitbooks.io/dm-algo-top10/content/svm-4.html
支持向量机基础之核函数
hukai7190的博客
11-15 1694
核函数常用的核函数主要有：多项式核函数、径向基函数、多层感知机、动态核函数等。
6. 支持向量机（SVM）核函数
weixin_30363981的博客
11-10 286
1. 感知机原理（Perceptron） 2. 感知机(Perceptron)基本形式和对偶形式实现 3. 支持向量机（SVM）拉格朗日对偶性（KKT） 4. 支持向量机（SVM）原理 5. 支持向量机（SVM）软间隔 6. 支持向量机（SVM）核函数 1. 前言 之前介绍了SVM的原理和SVM的软间隔，它们已经可以很好的解决有异常点的线性问题，但是如果本身是非线性的问题，目前来看SVM还是无法很...
机器学习课程笔记：支持向量机与斯坦福大学教程解析
"这篇资源是一份关于斯坦福大学2014年机器学习课程的个人笔记，由黄海广整理，涵盖了课程中的重要概念和技术，特别是支持向量机(SVM)的应用。笔记详细介绍了机器学习的基本概念、监督学习、无监督学习以及最佳实践，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值