11-1 什么是SVM

最新推荐文章于 2023-11-07 16:08:18 发布
最新推荐文章于 2023-11-07 16:08:18 发布
阅读量292 收藏
点赞数
分类专栏： 机器学习-11章 支撑向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jacqueline_CSDN/article/details/82051115
版权

* 支撑向量机 Support Vector Machine

可以解决分类问题
也可以解决回归问题


· 先回忆一下逻辑回归的思想：


逻辑回归会找到一个决策边界，在边界的两侧分为不同的分类


对于一些数据决策边界不唯一的问题，叫做不适定问题


· 逻辑回归算法是如何解决不适定问题的？

先定义了一个概率函数，即，根据这个概率函数进行建模，形成了一个损失函数，最小化这个损失函数，得到theta，然后 theta*Xb=0 为边界。这个theta的求法是由我们训练数据决定的。


· 支撑向量机解决的思路稍有不同


决策边界会非常好的将训练数据集分为两个部分，
但是这个决策边界的泛化能力不好。
因为如果再来一个样本，根据这个决策边界我们会认为它是蓝色类的，但是直观来看，新的样本点应该是红色类的，这样分类错误的原因是因为我们的决策边界离红色点太近了。


上述的决策边界的泛化能力比较好
因为离决策边界最近的3个点，我们让它离决策边界的距离尽可能远，即让决策边界离红色点尽可能远又离蓝色点尽可能远，同时它还能很好的区分红色和蓝色区域。

总结：
上述的决策边界不仅要很好的区分训练数据，同时考虑到未来，让它的泛化能力比较好，这就是SVM思想，对未来的泛化能力尽可能的好，并没有寄希望于数据的预处理，或者找到模型之后再对模型进行正则化，而是直接放在了算法的内部。这个思想的背后有数学的理论，可以严格证明出对于一个不适定问题，使用SVM找到的决策边界它的泛化能力是好的。SVM也是统计学习中一个非常重要的方法。


· 继续剖析SVM中的决策边界


上图中3个点离决策边界的距离一样
并且这3个点是所有点中离决策边界最近的3个点


离决策边界最近的数据点又定义出了2根直线，他们与SVM得到的决策边界平行，2根直线定义了一个区域，在两根直线之间将不再有任何的数据点，SVM的决策边界是这个区域中间的那根线。
SVM尝试寻找一个最有的决策边界
距离两个类别的最近的样本最远
上面的支撑向量定义了一个区域，最优的决策边界被这个区域所定义（中间那根线）
因此支撑向量是SVM算法中非常重要的元素
SVM要最大化margin：
线性可分问题（对于样本点来说存在一根直线，或者高维空间中存在一个超平面将这些点划分）—> Hard Margin SVM
真实情况下很多数据线性不可分 —> Soft Margin SVM


* 思路总结:

机器学习算法中，尤其是参数学习算法，一个固定的套路，把我们要解决问题的思想先转化成一个最优化问题，然后最优化目标函数。

Jacqueline_csdn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文研究-基于SVM的0-1序列生成器.pdf
09-11
首先结合ISO 9241－11有关可用性的定义,建立了包括人－机交互角度、用户角度和观察者角度的用户体验质量的360°指标体系模型;然后针对可用性概念的模糊性及其综合评估中的问题,应用层次分析法（AHP）确定了指标体系...
支持向量机（SVM）
heda3的博客
03-05 922
SVM是有监督学习、属于判别模型（决策函数），非线性，有预测函数，有优化目标，有求解算法（SMO） 支持向量机（Support Vector Machine, SVM）的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。 一般SVM有下面三种： 硬间隔支持向量机（线性可...
支持向量机SVM
Mr_marsa的博客
01-04 634
参考教材：机器学习实战（人民邮电出版社）Peter Harrington【美】著 语言：python 软件：VS code 支持向量机 优点：泛化错误率低，计算开销不大，结果容易解释。 缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。 适用数据类型：数值型和标称型数据。 SVM的一般流程 收集数据：可以使用任意方法。 准备数据：需要数值型数据。 分析数据：有助于可视化分隔超平面。 训练算法：SVM的大部分时间都源自训练，该过程主要实现两个参数的调优。 测试.
经典分类算法——SVM算法
李霁明的博客
03-19 2万+
文章目录经典分类算法——SVM算法1 SVM算法：背景2 SVM算法思想3. Hard-SVM算法4. Soft-Margin SVM算法5. Kernel SVM算法6. SVM小结 经典分类算法——SVM算法 1 SVM算法：背景 二维分类问题是一个经典的机器学习问题，其中的关键在于找到合适的分类平面（分类器的决策边界，比如y=w^T x+b），而支持向量机提出最大化分类间距的思想。 2 SVM算法思想 SVM有三宝：间隔、对偶、核技巧 间隔即SVM的目标是最大化分类间隔 对偶是求解SVM的方
SVM简介
johnny_love_1968的博客
05-09 3万+
SVM PPT3：核函数：有了核函数，SVM不仅仅可以处理回归问题，分类问题也可以解决。SMO：一种参数计算方法（这个大体了解，不重要） 一. 什么是SVM 1. 简介 SVM，曾经是一个特别火爆的概念。它的中文名：支持向量机（Support Vector Machine, 简称SVM）。因为它红极一时，所以关于它的资料特别多，而且杂乱。虽然如此，只要把握住SVM的一些特点，至少可以做到思路清晰。 首先，SVM是按照监督类学习方式进行运作的。即：数据当中含有目标值。 SVM采用监督学习方式，对数据进
[11] 基于SVM分类的边缘提取算法1
08-03
[摘要]通过分析同类数据点在空间中的几何形态，从数据点集所构成几何形态的凹凸性着手 ，提出边界提取算法并对高维数据进行分类。针对现实生活中的高 维数据，利用局部
支持向量机进行预测（SVM）Matlab版.rar
05-14
基于matlab的svm预测 代码
svm算法手写matlab代码-machine-learning-projects:我的机器学习项目
05-23
svm算法手写matlab代码机器学习项目 我的机器学习和深度学习项目 指导方针 项目1-2：克隆/下载存储库并提取ZIP文件并在第一级目录中执行命令“ python main.py”之后，它将能够生成PDF报告中使用的所有结果和图并...
【MATLAB工具箱集锦】- 国立SVM工具箱3.20.rar
12-07
11 Matlab数学建模工具箱 12 马尔可夫决策过程(MDP)工具箱MDPtoolbox 13 国立SVM工具箱 14 模式识别与机器学习工具箱 15 ttsbox1.1语音合成工具箱 16 分数阶傅里叶变换的程序FRFT 17 魔方模拟器与规划求解 18 隐...
SVM通俗详解
WGS.
07-08 8万+
SVM，英文全称为 Support Vector Machine，中文名为支持向量机，由数学家Vapnik等人早在1963年提出。在深度学习兴起之前，SVM一度风光无限，是机器学习近几十年来最为经典的，也是最受欢迎的分类方法之一。 1 SVM与“三八线” 不少人在初识SVM时会感觉到高深难懂。现在，就从你我熟知的“三八线”来走进SVM的思想内涵。 回忆下小时候，同桌同学经常会用粉笔或是小刀在课桌中间划一条“三八线”将课桌一分为二。大家约定好每个人只能在自己的那半课桌领域活动，谁也不能越界，越界是小猪、小狗。
SVM的具体介绍
GFDGFHSDS的博客
03-01 3332
SVM，全称是support vector machine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。 支持向量机的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法（实际上还有多分类），在引入了核方法之后SVM也可以用来解决非线性问题。它的基本学习策略是间隔最大化，可...
详解SVM
芒果干的博客
10-29 7070
本文目录详解SVM一、什么是SVM1. SVM定义2. 函数间隔和几何间隔（1）函数间隔（2）几何间隔3. 支持向量二、 详解SVM 一、什么是SVM SVM是一种二类分类模型，与感知机不同的是，他的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧，使他成为实质上的非线性分类器。 一句话总结：SVM就是通过监督学习来解决二分类问题 1. SVM定义 线性可分支持向量机：给定线性可分训练数据集，通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为 w∗⋅x+b∗=0 w
机器学习--分类算法--SVM算法理论
weixin_35733800的博客
03-31 1323
目录 一 算法概述 1 点到超平面的几何距离公式 2 算法核心思想 3 算法中几个重要概念 1）线性可分 2）线性不可分 3）间隔 4）划分超平面 5）支持向量 二 算法理论 1 线性可分SVM 1）硬间隔SVM算法流程 2）软间隔SVM算法流程 2 线性不可分SVM 3 SVR 三 SMO算法 一 算法概述 1 点到超平面的几何距离公式 注意：分母为点到...
Svm算法原理及实现
热门推荐
d__760的博客
05-21 12万+
      Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。一、基于最大间隔分隔数据1.1支持向量与超平面    在了解svm算法之前，我们首先需要了解一下线性分类器这...
简述SVM
最新发布
Victor_Li_的博客
11-07 2469
SVM，即支持向量机（Support Vector Machine），是一种常见的监督学习算法，用于分类和回归问题。它是一种基于统计学习理论和结构风险最小化原则的机器学习方法。SVM的主要思想是在特征空间中找到一个最优的超平面，将不同类别的样本点分隔开来。这个超平面可以被视为一个决策边界，用于对新的样本进行分类。SVM的目标是找到具有最大间隔(下图中margin的一半)的超平面，以实现更好的泛化性能。
什么是SVM？SVM的优缺点?
qq_37089829的博客
09-24 1万+
SVM:中文名叫支持向量机，它的基本模型是定义在特征空间上的间隔最大的线性分类器。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。 在线性不可分时，加入松弛变量并通过非线性映射将低维输入空间的样本映射到高维空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SVM的优点： 1）解决了小样本情况下的机器学习。 2）由于使用核函数方法克服了维数灾难和非线性可分的问题，所以向高维空间映射时没有增加计算的复杂度。（由于支持向量机算法...
机器学习实战——SVM（2/3）
Oshyn —— 乐而学，学而乐
05-16 2014
上一篇总结了对于训练数据集线性可分的理想情况下，使用硬间隔最大化训练得到分类超平面的SVM方法，这种方法在实际应用中并不实用，因为实际的训练数据总是会存在人为或不可控的因素干扰产生各种噪声，因此是无法在特征空间下找到线性可分的超平面的，但是噪声总是有限的，可以对硬间隔这个限制进行放松，引入一个松弛变量来控制分类超平面的训练，从而可以对近似可以线性可分的实际应用数据进行学习和预测。从这里也可以很明显
SVM - 基础知识篇
sinat_15355869的博客
04-05 474
基础知识篇：转：支持向量机(SVM)是什么意思？ （挺好玩，又超简单的解释）转：【直观详解】支持向量机SVM转：SVM with polynomial kernel visualization （07年的视频，一针见血）转：机器学习技法 Machine Learning Techniques （看了几遍，感觉很舒畅）下一张图片转自知乎用户：靠靠靠谱数学自己推导篇（方便自己复习使用）SVM线性SVM...
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值