支持向量机(SVM)的数学原理

最新推荐文章于 2024-05-29 21:17:05 发布
最新推荐文章于 2024-05-29 21:17:05 发布
阅读量4.7k 收藏 6
点赞数
分类专栏： Machine Learing
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PKU_ZZY/article/details/73824149
版权

支持向量机(SVM)的数学原理

线性可分数据

数据抽象为不同特征值作为不同维度的向量后，将分布在高维空间中，高维空间中的数据，如果能用一个维平面分开不同标签的数据，则称这组数据线性可分。

高维空间中的距离

如果高维空间中的数据线性可分，我们希望尽量用一个平面把两组数据分得开一点，那么我们需要引入度量，下面推导高维空间中的距离。
　　
这里写图片描述

求解分隔平面的优化问题

考虑线性可分的数据，我们为了分得开一点，需要转化为以下优化问题，由于优化问题是一个带约束的最值问题，所以可以考虑使用拉格朗日乘子法求出平面参数符合的必要条件。
　　
这里写图片描述

求解时，可以转化为对偶问题求解。(对偶问题以及KKL条件可以参考拉格朗日乘子法)

这里写图片描述

用SMO算法求解对偶问题

当优化变量很多的时候，可以先固定某些变量仅仅允许两个变量变动，且由于约束条件，事实上变成了一元函数，再对这个一元函数求最大值，而这个求解的难度会小很多，有闭合形式的代数解。
　　那么一次固定调整过程后，优化值变大。重复迭代这一过程即可。

当然，因为我学习的时候仅仅关心数学原理，并不关心实现细节。所以没有深究选择变量的原则，事实上选择变量需要用启发式搜索，也就是说有某种原则，使得选择的变量可以令值上升尽量多。每次更新还需要更新阈值b保证KKT条件。

选择核函数处理线性不可分数据

当线性不可分的时候，需要选择合适的核函数，即认为分隔在核函数作用后的平面中进行: w T Φ (

最低0.47元/天 解锁文章
pku_zzy
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
支持向量机数学证明与推导（SVM）
AndrewHR的博客
07-30 3734
支持向量机（SVM） @(数据挖掘)[svm] 支持向量机（SVM） 一、线性可分支持向量机和硬间隔最大化 二、线性可分支持向量机的对偶算法（应用拉格朗日对偶，简化原始优化问题为求解对偶问题） 三、线性支持向量机与软间隔最大化 四、线性支持向量机的对偶算法 五、线性支持向量机的另外一种合理解释 六、核技巧 一、线性可分支持向量机和硬间隔最大化 名词解释 线...
支持向量机SVM算法原理
qiu_zhi_liao的博客
05-08 1527
SVM 的英文叫 Support Vector Machine，中文名为支持向量机。它是常见的一种分类方法，在机器学习中，SVM 是有监督的学习模型。 什么是有监督的学习模型呢？它指的是我们需要事先对数据打上分类标签，这样机器就知道这个数据属于哪个分类。同样无监督学习，就是数据没有被打上分类标签，这可能是因为我们不具备先验的知识，或者打标签的成本很高。所以我们需要机器代我们部分完成这个工作，比...
支持向量机原理（超详细）
yuxiaoye03222的博客
08-27 4万+
支持向量机（SVM）是机器学习算法之一，是二分类算法。给定一组训练样本集，如图，样本数据集是二维的，分散在平面上，需要找到一条直线将数据集分割开。可以分开的直线有很多，我们要找到其中泛化能力最好，鲁棒性最强的直线。这是在平面上的点，如果是在三维空间中，则需要找到一个平面；如果是超过三维以上的维数，则需要找到一个超平面。 超平面的表达式为： 原理举例：wT取（w1,w2），x取（x1,x2）T， 则原式得 w1x1+w2x2+b=0 与传统直线 Ax+By+c=0 方程式 相同，由二维三维空间推到
机器学习算法系列（五）-- 支持向量机（SVM）
三明治的博客
04-29 6296
我们希望寻找到这样的直线，使得距离这条直线最近的点到这条直线的距离最短。我们从如下右图直观来解释这一句话就是要求的两条外面的线之间的间隔最大。这是可以理解的，因为假如数据样本是随机出现的，那么这样分割之后数据点落入到其类别一侧的概率越高那么最终预测的准确率也会越高。在高维空间中这样的直线称之为超平面，因为当维数大于三的时候我们已经无法想象出这个平面的具体样子。那些距离这个超平面最近的点就是所谓支持向量，实际上如果确定了支持向量也就确定了这个超平面，找到这些支持向量之后其他样本就不会起作用了。
机器学习：支持向量机（SVM）
最新发布
m0_74238712的博客
05-29 1134
SVM的优点：（1）解决了小样本情况下的机器学习。（2）由于使用核函数方法克服了维数灾难和非线性可分的问题，所以向高维空间映射时没有增加计算的复杂度。（由于支持向量机算法的最终决策函数只由少数的支持向量所确定，所以计算的复杂性取决于支持向量的数目，而不是整个样本空间的维数）。SVM的缺点：（1）支持向量机算法对大规模训练样本难以实施，这是因为支持向量算法借助二次规划求解支持向量，这其中会设计m阶矩阵的计算，所以矩阵阶数很大时将耗费大量的机器内存和运算时间。
支持向量机SVM原理解析
轩逸云的博客
04-13 6996
支持向量机(SVM） 可以找到这样一个超平面，使得所有相同类别的样本位于超平面一侧。如图示，可能存在无穷多个超平面。虽然他们的训练误差都等于0，但不能保证这些超平面在测...
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
机器学习——支持向量机（SVM）
2301_78630677的博客
09-06 1万+
支持向量机（SVM）是一种常见的机器学习方法，常用于分类（线性和非线性分类问题），回归问题。本文将详细介绍一下支持向量机算法。本文在SVM算法原理介绍中：从开始的SVM介绍，到Kernel的介绍，再到算法和核函数的选择，之后就是算法的步骤，以及分类和回归的选择；在代码实现中：亦是分别对SVM中的回归（SVR)和分类（SVC）用代码实现，并可视化结果。 关关雎鸠，在河之洲 --2023-9-4 筑基篇
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
04-29
在机器学习领域，支持向量机（Support Vector Machines, SVM）是一种广泛应用的监督学习模型，尤其在分类和回归任务上表现出色。SVM通过构造一个最大边距超平面来分割数据，以达到最佳的泛化能力。然而，在解决高维...
OpenCV机器学习——支持向量机SVM
01-27
本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关函数，并且用十分简单的训练数据作为例子实现分类。 对于OpenCV的机器学习分类器，大多换汤不换药，构造方法和实现方法很类似，基本遵循...
支持向量机SVM通俗理解（python代码实现）.pdf
05-12
支持向量机（Support Vector Machine，简称SVM）是一种经典的监督学习算法，主要应用于分类和回归问题。SVM的核心思想是找到一个最优的超平面，能够最大化两类样本之间的间隔，以此来达到良好的分类效果。 首先，...
基于MATLAB编程的支持向量机SVM柴油机故障识别
04-25
支持向量机（Support Vector Machine，简称SVM）是一种广泛应用的机器学习算法，尤其在模式识别和分类问题中表现出色。在本项目中，“基于MATLAB编程的支持向量机SVM柴油机故障识别”利用了SVM的强大功能来对柴油机...
Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM
热门推荐
Jack-Cui
09-23 8万+
说来惭愧，断更快半个月了，本打算是一周一篇的。感觉SVM瞬间难了不少，推导耗费了很多时间，同时身边的事情也不少，忙了许久。本篇文章参考了诸多大牛的文章写成的，对于什么是SVM做出了生动的阐述，同时也进行了线性SVM的理论推导，以及最后的编程实践，公式较多，还需静下心来一点一点推导。
机器学习之支持向量机（SVM）原理详解、公式推导（手推）、面试问题、简单实例（sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-07 1万+
主要内容分为理论推导和代码实现以及面试宝典三个部分。 理论推导主要是SVM的原理以及线性SMO算法的推导，也提了一下核函数和软间隔的理论，在推导之前还引入了拉格朗日乘子法、超平面、对偶问题的介绍。 代码实现包括sklearn调用，有几个对应实例。 面试宝典是一部分《机器学习》中的课后习题和一些《百面机器学习》的面试题，由公式推导和理论解答。
SVM(支持向量机)原理与应用
Air_wanghao的博客
11-19 3656
1. 支持向量机　　支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。SVM使用铰链损失函数（hinge loss）计算经验风险（empirical risk）并在求解系统中加入了正则化项以优化结构风险（structural risk）
支持向量机的原理
huicooling的博客
09-26 4万+
一、什么是支持向量机   支持向量机(support vector machine，简称SVM)是一种基于统计学习理论的新型学习机，是由前苏联教授Vapnik最早提出的。与传统的学习方法不同，支持向量机是结构风险最小化方法的近似实现。这个归纳原理是基于这样的事实，学习机器在测试数据上的误差率(即泛化误差率)以训练误差率和一个依赖于Vc维数(Vapnik-Chervonenkis dimensio...
支持向量机（SVM）
星辰的博客
01-17 2万+
算法简介 支持向量机(SVM)是种二类分类模型。 它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机:支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机学习方法包含构建由简至繁的模型:线性可分支持向量机、线性支持向量机以及非线性支持向量机。简单模型是复杂模型的基础，也是复杂模型的特殊情况。当训练数据线
支持向量机(SVM)----超详细原理分析讲解
西小庄村高伟 的博客
09-12 7502
分析支持向量机(SVM)模型算法，并求解决策超平面、决策函数
支持向量机svm数学原理
09-14
支持向量机(Support Vector Machine, SVM)是一种常用于机器学习中的分类算法。其数学原理可以总结为以下几点： 1. 定义训练数据和标签：在SVM算法中，我们需要定义训练数据集的位置(xi)和对应的标签(yi)。这里的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值