算法知识点——（3）监督学习——SVM

最新推荐文章于 2024-10-10 08:10:30 发布
最新推荐文章于 2024-10-10 08:10:30 发布
阅读量2.7k 收藏 3
点赞数
分类专栏： 算法知识点 文章标签： SVM 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lynqwest/article/details/100854850
版权
本文深入探讨支持向量机（SVM）的原理，包括目标函数、KKT条件、拉格朗日乘子法、SMO算法以及软间隔。此外，还讨论了SVM在处理多分类、样本不平衡和大数据等问题时的策略，以及与逻辑回归的区别和SVM的优缺点。
摘要由CSDN通过智能技术生成

目录

一、支持向量机原理

1. SVM目标

2. 距离与数据定义

3. 目标函数推导

4. 目标函数求解

4.1 KKT条件

4.2 拉格朗日乘子法——强对偶性

4.3 拉格朗日乘子法—— 求解

4.4 SMO算法——求解max ()

5. 软间隔

6. SVM核变换

二、常见问题

1. LR和SVM区别

2. SVM损失函数

3. SVM的原理是什么？

4. 对偶计算的作用

5. 为什么SVM对缺失数据、噪声敏感

6. SVM如何处理多分类问题

7. SVM如何处理样本不平衡的问题

8. SVM用在大数据的缺陷

9. SVM优缺点

一、支持向量机原理

1. SVM目标

SVM可以用于二分类或多分类，此处以二分类为例。SVM的目标是寻找一个最优化超平面可以在空间中分割两类数据，这个最优化超平面需要满足的条件是：离其最近的点到其的距离最大化。

一句话解释：最大化离超平面最近点（支持向量）到该平面的距离。

2. 距离与数据定义

点x到空间直线w^Tx+b的距离为：

                                                                     d=\frac{|w^Tx+b|}{||w||}                                                 （1）

      y_{i}就是标签，假设这里是二分类问题，其值是1和-1，其保证了不论样本属于哪一类，最终值都保证是正数，则有：

                                                                        \large \left\{\begin{matrix} y(x_i)>0 \Leftrightarrow y_i=+1\\ y(x_i)<0 \Leftrightarrow y_i=-1 \end{matrix}\right.\\ \Rightarrow y_i(x^Tx+b)>0                             （2）

3. 目标函数推导

由1中的图可知，支持向量到达我们要优化的超平面 w^Tx+b=0的距离就是 \frac{1}{||w||}，两侧的距离加起来就是\frac{2}{||w||}

则目标函数为：

                                                 \large argmax \quad \frac{1}{||w||}min[y_i\cdot (w^Tx_i+b)]                               （3）

其中min 为找最近的支持向量，argmax为找到什么样的w,b到平面的距离越远越好

假设支持向量到超平面的函数距离设为1，自然其他非最近点的函数距离便是大于1，于是得到不等式约束优化问题：

                                                      \large \left\{\begin{matrix} max \frac{2}{||w||}\\ s.t.\quad y_i(w^Tx_i+b)\geq 1 ,i=1,2,...,m \end{matrix}\right.                   （4）

4. 目标函数求解

由于最大值问题不好求解，因此将公式4转换为：                           

                                                               \large \left\{\begin{matrix} min\ \frac{1}{2}||w||^2\\ s.t.\quad y_i(w^Tx_i+b)\geq 1 ,i=1,2,...,m \end{matrix}\right.                     （5）

4.1 KKT条件

  1. \large \frac{\delta L}{\delta w}=0, \quad \frac{\delta L}{\delta b}=0, \quad \frac{\delta L}{\delta \lambda }=0

  2. \large \lambda _i[1-y_i(w^Tx_i+b)]=0

  3. \large \lambda _i\geq 0

  4. \large 1-y_i(w^Tx_i+b)\leqslant 0

4.2 拉格朗日乘子法——强对偶性

将带约束的优化问题（公式5）转换为不带约束的

                                              \large L(w,b,\alpha)= \frac{1}{2} ||w||^2 +\sum_{i=1}^{n}\alpha_i[1-y_i(w^Tx_i+b)]                              （6）

         分两种情况对公式（6）考虑

（1） \large 1-y_i(w^Tx_i+b)\geq 0时，\large max \ L(w,b,\alpha)为无穷大，无意义

最低0.47元/天 解锁文章
Lynqwest
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
机器学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 14万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
监督学习：支持向量机（SVM）
噜噜啦嘞嘞
04-14 652
对SVM的粗浅理解。
监督学习SVM（暂时只学习到线性）
ACfighter的博客
02-27 419
SVM算法(Support Vector Machine) 定义及介绍 SVM算法是基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小化来提高学习器泛化能力。常用于对小样本、非线性及高维数据进行模式识别、分类以及回归分析。 正例与反例，SVM是个二分类的分类模型。正例和反例分别对应正负样本点，是样本的集合。 超平面，将特征空间划分为正类和负类的分类边界，一般将任何维度的分类边界都统称超平面...
5分钟带你了解监督学习的种类以及各种算法的应用
最新发布
2401_83912923的博客
10-10 1138
5分钟带你了解各类热门监督学习算法的优势和缺点以及原理和代码
4.3.1有监督学习（五） - 支持向量机（SVM - Support Vector Machine）
Orange_Spotty_Cat的博客
08-27 3034
简介 支持向量机（Support Vector Machine，SVM）是一种有监督学习中的分类器。它适合小样本、非线性以及高维度的分割。SVM通过选择不同的核函数来构造不同的模型，并构建不同的分割器。例如，核函数为线性函数时，SVM等同于线性回归；核函数为Sigmoid时，SVM等价于神经网络。 一句话解释版本： SVM通过非线性转换升维数据，实现线性可分；通过最大化边界，寻找最优分割器。...
监督分类：SVM即支持向量机实现遥感影像监督分类（更新：添加机器学习模型存储、大影像划框拼接）
qq_20373723的博客
05-01 7443
前面已经有一个版本了，但是影像太大内存顶不住，而且训练和预测没有分离，后面批量用这个不可能每次每张影像都训练了再预测，这次正好有需求，正好有人已经把大影像划框写好了（在此感谢wjw提供了划框，一起优化了这个），我就最后把这个整理一下，算是终版吧，以后也不会再花时间整这个了 # -*- coding: utf-8 -*- from osgeo import ogr from osgeo import.........
监督分类：SVM即支持向量机实现遥感影像监督分类
qq_20373723的博客
12-30 4793
环境：python2或3都可以，有osgeo(gdal)（本机版本2.2.4）、scikit-learn(本机版本0.20.3)、numpy（本机版本1.15.0）就行 这个代码是用的4波段遥感影像，如果用作其他波段的稍微修改一下就行了，后面会标记出来。 数据位置：链接：https://pan.baidu.com/s/14i-ePeWm-gnIPSsrgHmnMw 提取码：qkgz 首先在...
算法知识点——（5）集成算法—GBDT详解
Lynqwest的博客
09-29 3718
目录 一、GBDT概述 二、GBDT算法思想 1. GB（Gradient boosting） 2.GBDT的变形和参数建议 3. 算法思想总结 4.GBDT的优缺点 三、GBDT回归算法 1. 回归算法 2. 回归实例 四、GBDT分类算法 1. 二元分类 2. 多元分类 3. 分类实例 五、常见问题 1. 随机森林和GBDT 的区别 2. Xgboost...
Python机器学习机器学习十大算法英文文档SVM
04-15
首先，从标题来看，“Python机器学习机器学习十大算法英文文档SVM”揭示了文档涉及的核心内容是Python编程语言在机器学习领域中应用的十大算法之一——支持向量机（Support Vector Machine，简称SVM）。SVM是一种...
监督学习算法之SVM：理论与应用
AI天才研究院
01-07 1056
1.背景介绍 监督学习是机器学习的一个分支，它涉及的算法主要包括：线性回归、逻辑回归、支持向量机(SVM)、决策树、随机森林等。在这篇文章中，我们将主要关注支持向量机(SVM)。 支持向量机(SVM)是一种用于解决二元分类问题的监督学习算法，它的核心思想是通过寻找最优解来实现类别间的最大间隔，从而使得在训练数据上的分类准确率达到最大。SVM 的核心技术在于其核函数(Kernel Functio...
监督学习 | SVM 之支持向量机Sklearn实现
侠的博客
08-19 867
文章目录Sklearn 支持向量机1. 支持向量机分类1.1 线性 SVM 分类1.2 非线性 SVM 分类1.2.1 多项式核1.2.2 高斯 RBF 内核2. 支持向量机回归2.1 线性 SVM 回归2.2 非线性 SVM 回归2.2.1 多项式内核参考资料 相关文章： 机器学习 | 目录 机器学习 | 网络搜索及可视化 监督学习 | SVM 之线性支持向量机原理 监督学习 | SVM 之非线...
监督学习之支持向量机SVM原理与代码实现
FlatTiger的博客
12-18 192
支持向量机SVM SVM最基本的应用就是分类。对于SVM，有一个分类平面，两个点集到此平面的最小距离最大，两个点集中的边缘点到此平面的距离最大。
ENVI监督分类中SVM（支持向量机）工具
qq_40743231的博客
12-26 1万+
这里以landsat 8的四景镶嵌影像为例： 打开ENVI工具箱中的分类——监督分类——支持向量机，出现如下界面： 选择图像，点击OK，会出现如下的错误提示 这告诉我们需要选取几个ROIs以便于我们用支持向量机来进行分类，ROI（Region of Interest感兴趣区），ROI工具的位置如下图所示 接下来我们需要选取三类的ROI，分别代表林地，水体和不透水面，点击下图中的位置创建新的ROI 在底下的ROI name一栏中输入water body，表示这一类的ROI我们选取的是和水体有关的地方
监督分类：用SVM做遥感影像特征级分类
qq_20373723的博客
03-12 2397
前面已经做了很多像素级的分类了，这里继续深入，这里用的特征是LBP（局部阈值模式），思路就是先手动选点取样本点邻域并提取LBP特征进行训练得到模型，然后取每个像素的邻域提取LBP特征，然后用训练好的模型对每个像素对应的邻域判断类型，最终确定像素的类型 这里放了一个初版和一个改进后的版本，初版里面有想记录的东西所以就也放这里了，过客们可以直接往下翻看终版。 # -*- coding: utf-8 -...
python分类算法svm_支持向量机SVM原理_python sklearn建模乳腺癌细胞分类器（推荐AAA）...
weixin_39658474的博客
12-06 429
python机器学习-乳腺癌细胞挖掘(博主亲自录制视频) 支持向量机python代码和博客介绍https://github.com/adashofdata/muffin-cupcakeYouTube介绍https://www.youtube.com/watch?v=N1vOgolbjSc 这是线性支持向量机，LSVM marginmargin值越大越好，因为margin值越大，空间区分两组数据效...
机器学习—支持向量机（SVM）
Kongxianghao666的博客
06-11 1325
支持向量机（Support Vector Machine，简称SVM）是一种监督学习算法，用于数据分类和回归分析。其目标是找到一个最优的超平面，将数据集划分成不同的类别。在这个过程中，SVM关注的是距离超平面最近的一些数据点，这些数据点被称为支持向量。支持向量机（Support Vector Machine，SVM）是一种强大的监督学习算法，用于分类和回归分析。它是由Vapnik和Cortes于1995年提出的，是一种基于统计学习理论的模式识别方法。
【SVM分类】基于支持向量机实现电力节点分类附matlab代码
qq_59747472的博客
05-21 207
1 简介 2 部分代码 function mpc = case39%CASE39 Power flow data for 39 bus New England system.% Please see CASEFORMAT for details on the case file format.% Data taken from [1] with the following modifications/additions:%% - renumbered gen buses c
监督分类-支持向量机分类法
m0_46527440的博客
06-19 7777
最近跟着老师做课题，一个关于积雪的课题，我处理的部分是对积雪图片的二值化，从而得到控制点区域内积雪与掉落物的比例。在经过多次摸索后，决定使用监督分类中的SVM(支持向量机分类法)分类，效果很不错。在之后的数据就使用这个算法。 监督分类(Supervised Classification)又称训练场地法，它基于训练样本以概率统计理论为基础，即在具有遥感影像样本区分类类别属性的先验知识基础上，采集训练区的样本创建训练分类器，进而对整幅影像进行类型划分，将每个像元归并到对应的类别中。 监督分类一般分为三个步骤:1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值