手推SVM（一）-数学推导

最新推荐文章于 2021-08-19 15:02:04 发布
最新推荐文章于 2021-08-19 15:02:04 发布
阅读量1w 收藏 34
点赞数 8
分类专栏： 机器学习与数据挖掘 文章标签： svm 数学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39422642/article/details/78725278
版权
  1. SVM的想法
  2. SVM中在数学上目标
    2.1 判定条件
    2.2 最大间隔假设
  3. SVM的推导
    3.1 第一种境界
    3.2 第二种境界
    3.3 第三种境界-kkt条件

SVM的推导过程和他的地位一样重要，虽然很久以前就已经接触过SVM了，但总感觉理解不是很深，接着听课的热度，顺便写篇文章让自己理解更深刻一点，本文假设你只会简单的向量乘法，推导出SVM。

1.SVM的想法

监督学习，作为一个二分类任务，在平面上表示就是希望有这么一条分类边界，能把正负样本分开，每种分类器画的分类边界都不一样，到底哪个最好，只能看问题，看数据，看实际的应用场景。
这里写图片描述
上图中，有三条决策边界，而SVM的关键假设是 ：找到一条直线到样本点两边的距离最大,也就是margin最大。这样的好处就是模型具有更好的鲁棒性。

什么是鲁棒性呢？
通俗理解来说就是更能容忍误差，比如下图中的红色xx,从左到右是点到直线的距离越来越远的，如果是最左边的一条线，假设有一个点和红色叉叉比较接近，但刚好在红色叉叉的下方，这时候，模型会判定这条线蓝色小圈圈的，而最右边的那条线则会判定为红色叉叉，所以相比来说，最右边的线比最左边的线具有更好的鲁棒性。
这里写图片描述

上图是点到线的距离，那换成线到点的距离是不是一样的呢？

这里写图片描述
很容易想到我们希望这条街的街宽最大，但是，该怎么定义呢？

用数学表达式表达出来可以有这样的式子，街宽用术语来说就是margin:

OK，这是我们的想法，那我们怎么实现这个想法呢？

2.SVM中在数学上目标

2.1 判定条件

假设中间那条实线是最好的决策边界，做 w⃗  为垂直于中间那条线的向量，新来一个点，与0组成向量表示为 u⃗  ,如果 u⃗  在 w⃗  上的投影大于某一数值C，则判定该点为正样本，用向量表示为:

w⃗ ||w||→∗u⃗ >=C
把C移过来可以写成：
1||w||→(w⃗ ∗u⃗ +b)>=0

这里写图片描述

2.2 最大间隔假设

为了让决策边界更好的划分样本，也为了模型具有更好的泛化能力，我们希望模型在训练集中，这条街的宽度尽可能大，同时，因为 1||w||→ 是可变的，对整体的公式没有影响，相当于系数，用数学公式表达这个想法就是:

w⃗ ∗X+→+b>=1
w⃗ ∗X−→+b<=−1
当然这个1不是规定的，也可以是更大的数，但如果是10，我总能够对方向量 w⃗  进行适当的伸缩，让它又变回1，所以为了计算方便，我们把它设成1.这就是SVM的最大间隔假设。

再来回顾一下，我们的总目标就是找到这样参数 w⃗ ,b 能判断样本是正样本还是负样本，同时在训练集中，要求它的间隔尽可能得大。

  1. SVM的推导

3.1 第一种境界

提个要求很容易，但具体的参数应该怎么求呢？
为了求解方便，我们用一个小技巧，把最大间隔假设合成一个式子：

yi(w⃗ ∗X+→+b)>=1，yi=1,−1
其实这里的 yi 相当于一个符号，其中对于边界上的点（街边）要求：
yi(w⃗ ∗X⃗ +b)=1

那这个街宽应该怎么求出来呢？假设我们只会向量的乘法，我们来看一下怎么通过向量的乘法求出街的宽度。

下方为负样本，上方为正样本，在法向量 w⃗  上选取位于街边的正样本，可以得到正，负样本的距离为

向量 x+→−x_→的模：|x+→−x_→|
,那街的宽度不就是向量 x+→−x_→ 在法向量上的投影吗？
width=(x+<
最低0.47元/天 解锁文章
黄小猿
关注
  • 8
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
手推支持向量机SVM——Ⅰ
行者无疆的博客
03-18 229
支持向量机的原理   首先，我们要知道，SVM是一个二分类模型，当然我们能够用它实现多分类，但一个SVM本质上就只是一个二分类模型，它的原理就是找到一个超平面（在二维中就是一条直线）既能有效区分两个类别又能使得两个类别到该超平面的几何距离最大。   什么意思呢，看下面的图：   该图中有很明显的两个类别，能够区分开这两个类别的直线有很多条（图中的三条直线都可以），SVM要做的就是找到离两个类别的距离最远的那一条，即图中的红色直线。   目前共有三种SVM算法： Hard-margin SVM 硬间隔SV
SVM支持向量机算法的详细推导(详细到每个步骤_值得推荐).pdf
08-18
SVM支持向量机算法的详细推导(详细到每个步骤_值得推荐)
SVM数学原理推导
weixin_30646315的博客
08-17 420
//2019.08.17 #支撑向量机SVM(Support Vector Machine)1、支撑向量机SVM是一种非常重要和广泛的机器学习算法，它的算法出发点是尽可能找到最优的决策边界，使得模型的泛化能力尽可能地好，因此SVM对未来数据的预测也是更加准确的。 2、支撑向量机SVM有两种：Hard Margin SVM和Soft Margin SVM，对于第一种严格的支...
手推SVM
丝萝愿为乔木的博客
04-22 1268
1 线性分类 1.1 线性可分支持向量机 定义：给定线性可分训练数据集，通过间隔最大化学习得到的分隔面为： ① wx+b=0wx+b=0 则对应的分类决策函数为f(x)=sign(wx+b)f(x)=sign(wx+b)，称为线性可分支持向量机。 如下图所示，（我们假设，分隔面上方的红色样本表示正样本，分隔面下方的蓝色样本为负样本）： 对于任何样本x，中间红色的的分隔面为
SVM推导-draco.docx
05-13
SVM的公式推导和自己的一些见解，另外还有一些辅助的图片。
SVM-RFE.rar_RFE算法_SVM_SVM-RFE matlab_SVM-RFE算法流程_基因选择
07-15
基因选择算法 SVMRFE 基因选择算法 SVMRFE 基因选择算法 SVMRFE
最新版 native-image-installable-svm-java17-windows-amd64-22.3.0.jar
12-16
最新版 native-image-installable-svm-java17-windows-amd64-22.3.0.jar最新版 native-image-installable-svm-java17-windows-amd64-22.3.0.jar最新版 native-image-installable-svm-java17-windows-amd64-22.3.0....
SVM-RFE algorithm：SVM-RFE算法.pdf
07-11
SVM-RFE algorithm：SVM-RFE算法.pdf
Matlab实现基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法（Matlab完整程序和数据）
最新发布
07-30
基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法，输出为选择的特征序号（Matlab完整程序和数据） Chinese: Options：可用的选项即表示的涵义如下 　-s svm类型：SVM设置类型(默认0) 　0 -- C-SVC 　1 --v...
＜机器学习＞ 手推SVM
thisiszdy的博客
08-19 475
SVM 推导
fruit的博客
02-26 584
参考 http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html http://blog.csdn.net/sinat_22594309/article/details/61615946 http://blog.csdn.net/v_july_v/article/details/7624837 理解SVM...
SVM的基本推导
仰望星空
03-14 2571
1、SVM的作用 对于给定的训练样本集D={(x1,y1), (x2,y2),… (xn,yn)}，yi属于{-1，+1}，希望能找出一个超平面，把不同类别的数据集分开，对于线性可分的数据集来说，这样的超平面有无穷多个，而最优的超平面即是分隔间距最大的中间那个超平面 2、硬间隔最大化 对于以上的KKT条件可以看出，对于任意的训练样本总有ai=0或者yif(xi) - 1=0即yi...
手推SVM-机器学习
qq_16236875的博客
04-14 135
参考：https://www.bilibili.com/video/av21596913?from=search&seid=15236842238004689496 等于 边界上的点： 求宽度, 要宽度最大，其实就是||w||最大，同时满足，也就是最小化 2接着求w，拉格朗日 L=接着对w和b求偏导 带入L得到= L只取决于数据点两两的点乘。本质...
【机器学习杂货铺】——手推SVM
Daniel717的博客
07-20 1546
【机器学习杂货铺】——手推SVM
手推 SVM（Support Vector Machine）Hard margin
TANGerrr的博客
11-29 178
以上手推学习bilibili白板推导及西瓜书，如有问题请问或查看前两参考视频及文献。
手推SVM 支持向量机的简易推导和理解
小鹅鹅的博客
01-29 5859
前言 SVM - support vector machine, 俗称支持向量机，为一种监督学习算法，是一种二分类模型，学习策略是间隔最大化，可以形式为一个求解凸二次规划问题(此篇博客主要讲述)，也等价于正则化的合页损失函数的最小化问题(Coursera 吴恩达 机器学习课程里面讲的SVM)。 支持向量机的优点： 可用于高维空间中的数据分类 在数据维度高于样本个数时，仍然可以有效...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值