史上最全的支持向量机（SVM）公式推倒

最新推荐文章于 2024-06-11 18:19:31 发布
最新推荐文章于 2024-06-11 18:19:31 发布
阅读量946 收藏 4
点赞数 2
分类专栏： 深度学习 文章标签： 机器学习 人工智能 算法 svm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40816078/article/details/114376215
版权
本文详细介绍了支持向量机（SVM）的基本理论和应用，包括SVM最初解决二分类问题的背景，硬间隔、软间隔及核方法在SVM分类中的作用，并通过数学建模展示了如何寻找最大化间隔的超平面。通过对拉格朗日乘子法的应用，证明了有约束和无约束模型的等价性，最后讨论了SVM的对偶问题转换。
摘要由CSDN通过智能技术生成

支持向量机

支持向量机（SVM）

一、SVM最初是为了解决什么问题

在深度学习之前，提出SVM是为了解决二分类问题。

二、SVM分类

  • hard-margin SVM
  • soft-margin SVM
  • kernel SVM

三、基本理论

SVM

对于hard-marigin SVM，我们要找到一个超平面，使得与该超平面最近的点到此超平米的距离最大。因为如果距离很近的话会使得模型的鲁棒性很差，稍微有一点点噪声就可能使得SVM分类错误。如下图如果稍微加一点噪声，x1变到了x2,x3变到了x4那么就会出现分类错误。
SVM

  1. 数学建模
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
公式推倒
在这里插入图片描述
在这里插入图片描述

这里为了方便取r = 1。所以就可以将原问题最终建模正如下的凸优化问题（convex optimization）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

此问题显然是二次凸优化问题，先有的软件包一般都有解决此问题的方法直接调用。但是涉及到x维度很高的情况会使得运算很慢。所以我们还可以进一步优化求解。
上面的问题等价于：
在这里插入图片描述
其中拉格朗日函数：
在这里插入图片描述

接下来证明一下有约束模型与无约束模型等价：

令 在这里插入图片描述

  1. 当   1 − y i ( w T x i + b ) > 0 \ 1-y_i(w^Tx_i+b)>0  1−yi​(wTxi​+b)>0 的时候，由于是求 max ⁡ α \max\limits_\alpha αmax​所以， α → ∞ \alpha \to\infty α→
最低0.47元/天 解锁文章
AEP_WYK
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
机器学习算法--SVM
qq_41884485的博客
07-01 492
机器学习算法–SVM 读书笔记 支持向量机（support vector machine）是监督学习中最有影响力的方法之一。类似于逻辑回归，这个模型也是基于线性函数wTx+bw^Tx+bwTx+b的。不同于逻辑回归的是，支持向量机不输出概率，只输出类别。f(x)=sign(wTx+b)f(x)=sign(w^Tx+b)f(x)=sign(wTx+b) 当wTx+bw^Tx+bwTx+b为正时，预测为正类，否则为负类。 支持向量机的主要思想是基于训练样本集D=(x1,y1),(x2,y2),...,(xm,
支持向量机（SVM）
最新发布
m0_73598472的博客
06-11 813
支持向量机（Support Vector Machine，简称SVM）是一种用于分类和回归分析的监督学习模型。SVM通过在特征空间中寻找一个最佳的分离超平面，以最大化类间间隔，实现对数据的分类。
机器学习面试必知：SVM回归的泛化
Neekity的博客
02-28 903
从 机器学习面试必知：SVM和LR的关系 一文中,我们可以看到SVM相比于LR的优势在于能产生稀疏解。现在把SVM应用到回归问题中，同时保持它的稀疏性。在简单的线性回归模型中，我们最小化一个正则化的误差函数12∑n=1N(yn−tn)2+λ2∣∣w∣∣2\frac{1}{2}\sum_{n=1}^{N}(y_{n}-t_{n})^{2}+\frac{\lambda}{2}||w||^{2}21​...
机器学习：支持向量机（SVM）
热门推荐
燕双嘤
11-06 17万+
1，概述 1.1，概念 支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SV
过拟合与过拟合的经典例子
ywj_1991的博客
10-17 467
本节通过概念解析与可视化例子，讲述什么是过拟合什么是过拟合过拟合是指在由于过度拟合训练数据，导致模型过于复杂，以致于在测试数据上预测效果不好正因此，过拟合也称为缺失泛化能力过拟合例子常用于解析过拟合的有两个例子曲线拟合可以看到，过拟合时，模型虽然在训练数据上拟合得更好，但拟合出的曲线已经偏离了原本形态平面分类可以看到，过拟合时，模型虽然在训练数据上达到更好的效果，但这种"更好的效果"是通过"勉强而为之"换取而来的，它对模型真实应用时有害无益。
机器学习之支持向量机（SVM）原理详解、公式推导（手推）、面试问题、简单实例（sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-07 1万+
主要内容分为理论推导和代码实现以及面试宝典三个部分。 理论推导主要是SVM的原理以及线性SMO算法的推导，也提了一下核函数和软间隔的理论，在推导之前还引入了拉格朗日乘子法、超平面、对偶问题的介绍。 代码实现包括sklearn调用，有几个对应实例。 面试宝典是一部分《机器学习》中的课后习题和一些《百面机器学习》的面试题，由公式推导和理论解答。
机器学习博客：支持向量机（SVM）
qq_66115149的博客
12-18 108
本实验旨在使用支持向量机（SVM）实现垃圾邮件分类，通过文本数据的二分类任务，演示SVM在自然语言处理领域的应用。
实战案例-使用支持向量机（SVM）算法进行人脸识别
06-17
本资源包括使用支持向量机（SVM）算法进行人脸识别预测的全部源码 SVM就是帮我们找到一个超平面，这个超平面能将不同的样本划分开，同时使得样本集中的点到这个分类超平面的最小距离（即分类间隔）最大化。 支持...
葡萄酒支持向量机SVM分类
04-15
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，广泛应用于分类和回归问题。在本示例中，“葡萄酒支持向量机SVM分类”是利用SVM来对葡萄酒数据进行分类的实践项目。这个压缩包可能包含了...
支持向量机 比较完整的原理推导（论文）
05-17
支持向量机 比较完整的原理推导（论文）
ACO for SVM_SVM_aco-svm_acosvm_ACO
09-11
ACO optimization of svm parameters
svm.zip_SVM_支持向量机SVM
09-19
支持向量机（Support Vector Machine，简称SVM）是一种广泛应用的监督学习模型，尤其在分类和回归问题上表现出色。SVM的核心思想是找到一个最优的超平面，使得不同类别的数据点被最大程度地分开。这个超平面是由最...
基于支持向量机SVM的塌方识别
04-08
在本项目中，我们主要探讨的是“基于支持向量机SVM的塌方识别”，这是一个利用机器学习技术解决地质灾害预测的问题。支持向量机（Support Vector Machine, SVM）是一种强大的监督学习算法，广泛应用于分类和回归任务...
人工智能-SVM 支持向量机
iamsongyu的博客
01-05 3131
支持向量机（Support Vector Machine，简称SVM）是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM是我们常用的一种机器学习的分类器，其中的数据设涉及拉格朗日方程，等式优化，梳数理统计等很多问题，但是我这里并不想多说数学的问题，只是想理解其后的原理。   SVM...
支持向量机公式整理(SVM)
Twilight's Blog
11-03 1923
支持向量机可以分为三类： 线性可分的情况 ==> 硬间隔最大化 ==> 硬间隔SVM 近似线性可分的情况 ==> 软间隔最大化 ==> 线性支持向量机 线性不可分的情况 ==> 核技巧/软间隔最大化 ==> 非线性SVM 硬间隔向量机（hard margin svm） 任务：寻找一条与所有支持向量距离最远的决策边界，这条决策边界就是0=wTX+b0 = ...
支持向量机（svm)
00000
07-20 244
支持向量机(Support Vector Machine, SVM)是一种常用的机器学习算法，用于二分类和多分类问题。SVM的核心思想是寻找一个最优的超平面，使得不同类别的样本之间的间隔最大化。超平面是一个n-1维的子空间，其中n是特征的维度。w⋅xb0其中，w是法向量（垂直于超平面的向量），x是输入样本的特征向量，b是偏置项。为了找到最优的超平面，SVM的目标是最大化样本点到超平面的最小间隔，即最大化间隔。间隔表示样本点到超平面的距离，这个距离可以用函数间隔和几何间隔来表示。γ。
svm 解得的w和b分别是什么意思_一文搞懂支持向量机(SVM)算法
weixin_39984982的博客
01-05 6209
SVM中的支持向量是指什么在开始推导之前我们先了解一下支持向量机中的支持向量是指什么。观察上面一张图，哪些点对于分割线起了决定性作用？在特别远的区域，不管有多少样本点，对于分割线的位置，也是没有作用的，分割线是图中三个正好落在margin边界上的点决定的。这几个关键点支撑起了一个分割超平面，他们就是SVM中的支持向量。下面我们开始一步步推导SVM。SVM的优化目标现在我们开始讲解SVM算法的优化目...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值