支持向量机Support Vector Machine(SVM)

最新推荐文章于 2024-07-02 13:08:57 发布
最新推荐文章于 2024-07-02 13:08:57 发布
阅读量195 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 SVM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43933420/article/details/87913072
版权

二元SVM

SVM是一种有监督学习方法，因为它可以最大化几何边缘，所以又被称为最大间隔分类器

目标函数

f(x)=\sum{w_ix_i} +b

损失函数

L=C\sum_i^n {max(0,1-y_if(x_i))}+\sum _i^n{w_i^2}

即：当真实的label y_i 为1时， 损失函数变为

L=C\sum_i^n {max(0,1-f(x_i))}+\sum _i^n{w_i^2}

此时的函数图像如下

此时，只要目标函数f(x_i)>1 时损失就为0。

当真实的label y_i 为-1时，损失函数为

L=C\sum_i^n {max(0,1+f(x_i))}+\sum _i^n{w_i^2}

此时的函数图像如下

此时，只要目标函数f(x_i)<-1 时，损失就为0。

为什么SVM是最大间隔分类器

根据SVM的损失函数，我们需要计算f(x_i)=w_i^Tx(为方便计算，这里将偏置项b省略)，为了使损失最小，需要根据不同的label值，尽可能使得f(x_i)>1 或者f(x_i) <-1。

而在线性代数中，我们可以将w^Tx 转换成另外一种形式。举例来说，假设我们有向量A=\begin{bmatrix} x_1\\ x_2 \end{bmatrix},W=\begin{bmatrix} w_1\\ w_2 \end{bmatrix}

 

则它们的内积W^TA=p||W||,其中p为A在W上的投影，当p与w方向相同时为正数，否则为负数，||W||为向量W的长度。

所以f(x_i) = w_i^Tx=p_i||w||, 我们要让其大于1或小于-1，由于损失函数中有加入w的长度作为正则项，我们需要减小||w|| ，增大p_i 。假设W=\begin{bmatrix} 2\\ 1 \end{bmatrix},X=\begin{bmatrix} x_1\\ x_2 \end{bmatrix},为方便计算，省略偏置项b，则W^TX=0，我们画出SVM的超平面（注意横纵坐标），如图

 

由于W^TX=0，所以W和超平面垂直，由图可以看出，每个点在参数向量W的投影p都等于该点到超平面的距离，而我们正需要增大p，所以SVM可以最大化数据与分类超平面的间隔。

参考文献：http://blog.csdn.net/han_xiaoyang/article/details/52679559

 

 

 

 

 

 

 

 

 

 

tigogogogo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
支持向量机SVM（Support Vector Machine）
weixin_43937114的博客
12-18 422
支持向量机SVM（Support Vector Machine） 【关键词】支持向量，最大几何间隔，拉格朗日乘子法 一、支持向量机的原理 #支持向量：只根据部分数据就可以确定分类器,这些数据成为支持向量。 Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。 那么什么是支持向量呢？在求解的过程中，会发现只根据部分数...
SVM(Support Vector Machines):支持向量机
a130737的专栏
03-30 1549
支持向量机以前很火了。 现在风头被深度学习给占据了。
机器学习之支持向量机（SVM）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-26 2万+
支持向量机（support vector machine，SVM）是有监督学习中最有影响力的机器学习算法之一，该算法的诞生可追溯至上世纪 60 年代， 前苏联学者 Vapnik 在解决模式识别问题时提出这种算法模型，此后经过几十年的发展直至 1995 年， SVM 算法才真正的完善起来，其典型应用是解决手写字符识别问题。SVM 是一种非常优雅的算法，有着非常完善的数学理论基础，其预测效果，在众多机器学习模型中“出类拔萃”。在深度学习没有普及之前，“支持向量机”可以称的上是传统机器学习中的“霸主”。
什么是支持向量机（Support vector machine）和其原理
weixin_55703970的博客
03-03 981
SVM，最原始的版本是用于最简单的线性二分类问题。当我们被给了一个新的数据点，其形式是一个p-维的向量，我们想知道它应该属于被一个（p-1）-维超平面分开的两半中哪一半。那么我们就想要通过已有数据找到“最有代表性的”超平面。这个超平面就是我们的分类标准。因为我们用到的是超平面而不是曲面，所以这是一个线性的问题。（加入核方法等可以改进为非线性分类）这一步博客支持向量机（SVM）——原理篇。
机器学习：支持向量机（SVM）
weixin_51998499的博客
02-05 1951
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。
【机器学习实战】第6章 支持向量机
片刻 - ApacheCN
04-24 2515
第6章 支持向量机 http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default">> 支持向量机 概述 支持向量机(Support Vector Machines, SVM)：是一种机器学习算法。 支持向量(Support Vector)就是离分隔超平面最近的那些点。机(Machine)就是表示一种
SVM算法（Support Vector Machine）
W_000的博客
11-20 8461
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。
支持向量机，Support Vector Machine(SVM)，多类分类
06-23
支持向量机（Support Vector Machine，SVM）是一种在机器学习领域广泛应用的监督学习模型，尤其在二分类问题上表现出色。然而，SVM也可以扩展到处理多类分类问题，这是通过不同的策略来实现的。以下将详细阐述SVM的...
支持向量机，Support Vector Machine(SVM)，多类分类.zip
06-25
支持向量机，Support Vector Machine(SVM)，多类分类 支持向量机，Support Vector Machine(SVM)，多类分类 支持向量机，Support Vector Machine(SVM)，多类分类
Code_supportvector_svmmatlab_matlab支持向量机源码_
09-30
在本资料包中，"Code_supportvector_svmmatlab_matlab支持向量机源码_" 提供了用MATLAB实现的支持向量机算法。 MATLAB是一种强大的数值计算和数据分析环境，也是许多科研工作者和工程师首选的编程工具，尤其在处理...
SVM.rar_SVM_Svm vector machine_支持向量机
09-22
支持向量机（Support Vector Machine，简称SVM）是一种在机器学习领域广泛应用的监督学习算法。它最初由Vapnik和Cortes在1995年提出，以其优秀的分类性能和泛化能力受到广泛关注。SVM的核心思想是构建一个能够最大化...
支持向量机（Support Vector Machine，SVM）是一种强大且灵活的监督学习算法，用于分类和回归分析 以下是关于
06-28
支持向量机（Support Vector Machine，SVM）是一种强大且灵活的监督学习算法，用于分类和回归分析。以下是关于支持向量机的500字资源介绍： 支持向量机在机器学习领域中被广泛应用，特别是在二分类问题上表现出色。...
机器学习：SVM(Support Vector Machine)支持向量机简介
彭世瑜的博客
07-25 1762
SVM(Support Vector Machine)： 支持向量机 有监督学习模型 应用：模式识别、分类以及回归分析 SVM的主要思想： 它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。 它基于结构风险最小化理论之上在特征空间...
支持向量机-SVM(Support Vector Machine)
The Shawshank Redemption
12-18 1097
0.引入 假设二维空间中存在一些点的分布，现在我们想要一个模型来决定点的真实所属类别 我们可以有任意种方式来画这个边界线，如上图的黑色直线和绿色曲线，哪一种才好呢？实际上根据奥姆剃刀原理，我们会选择黑色的直线。 奥姆剃刀原理：如果有两种理论可以得到相同的结果，那么更简单的那个更好。在我们的例子上，显然直线的表达式比曲线要好，因此我们会选择直线。 对于这种情况，我们称之为线性可分，也就是使用线性模型可以解决的分类问题。 进阶：现在假设我们有多条直线...
支持向量机(Support Vector Machine)
weixin_55773387的博客
12-18 4681
支持向量机，其英文名为supportvectormachine，一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
详解支持向量机（Support Vector Machines, SVM）
热门推荐
XY的博客
04-02 3万+
如果不是特别感兴趣，还是不要看了。看似简单的分割问题，却涉及了拉格朗日乘数、核函数、SMO算法......
Support Vector Machine理论推导证明（一）
To_be_thinking的博客
06-07 279
春招华为面试竟然让手推SVM，当时真的不会，学的时候只是理解了一下,吃了大亏，于是决定每周推一次，温故而知新嘛。 支持向量机的动机来源于对线性感知机模型的修正。又称为最大化间隔（maximize margin）。分为硬间隔和软间隔。今天先总结手推一下。 SVM的关键就是无约束优化条件的转换、KKT条件以及核方法。 SVM包含soft margin和hard margin，这一点与Percep...
支持向量机(Support Vector Machine,SVM)算法复杂度详解
祥瑞的技术博客
01-15 8639
关于支持向量机的算法复杂度，因为SVM在训练阶段的算法较为复杂，详细的算法复杂度较为难以推算且众说纷纭，与很多因素相关。但是可以根据相应的数据类型大致推算出SVM的算法复杂度。 参考资料： Burges C J C . A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining and Knowle...
【机器学习】机器学习的重要方法——线性回归算法深度探索与未来展望
最新发布
2301_79181030的博客
07-02 1295
首先，现实世界中的关系往往是非线性的，这限制了线性回归的预测能力。为了应对这一挑战，研究者们提出了诸如多项式回归、决策树回归、随机森林回归等更复杂的模型。在数据科学日益重要的今天，线性回归算法以其简单、直观和强大的预测能力，成为了众多领域中的基础工具。本文将详细介绍线性回归的基本概念、核心算法，并通过五个具体的使用示例来展示其应用，同时探讨其面临的挑战，并对未来进行展望。线性回归的核心算法是最小二乘法，它通过最小化误差的平方和来求解最佳的模型参数（即回归系数）。
介绍一下支持向量机（support vector machine, SVM）
07-08
支持向量机（Support Vector Machine, SVM）是一种经典的机器学习算法，主要用于分类和回归任务。它的目标是找到一个最优的超平面，将不同类别的样本点分隔开来，并尽可能最大化样本点与超平面之间的间隔。 在SVM中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值