分类算法（二）：SVM的原理

最新推荐文章于 2024-06-18 18:05:08 发布
最新推荐文章于 2024-06-18 18:05:08 发布
阅读量7.1k 收藏 12
点赞数 3
分类专栏： Python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18310041/article/details/94978524
版权

支持向量机基本模型定义为特征空间上的间隔最大的线性分类器。而它的学习策略为最大化分类间隔,最终可转化为凸二次规划问题求解。SVM为非参数模型。SVM的损失函数采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。

应用：解决二分类或者多分类问题

最优分类超平面

最优分类超平面–尽可能的远离所有类别的数据点，对已知和未知数据都能准确地分类，因而，我们需要寻找有最大间隔的最优超平面。

定义超平面：

w^{T}x=0

在二维空间里面，假设两个向量X = \left( \begin{array}{ccc} -b \\ -a \\ 1 \end{array} \right)     W = \left( \begin{array}{ccc} 1 \\ x \\ y \end{array} \right) 

可以得到：

解得，在二维平面的表示方式 y=ax+b 等价于w^{T}x=0

间隔与支持向量

正交投影：

　　　

可以得到向量　z=(u⋅x)u 是向量x在y上的正交投影。  

由上可得：

点A(3,4)和超平面之间的距离||p||，p=(u⋅a)u

因而，空间中任一点w到超平面(w,b)的距离可以写成：r = \frac{w^{T} }{\left \| w \right \|} \cdot x=\frac{\left | w^{T}x+b \right| }{\left \| w \right \|}

支持向量的定义：训练样本使得\left | w^{T}x_{i}+b \right |=1成立，即样本在间隔边界处。

目标函数：我们需要最大化间隔，两个不同类支持向量到超平面的距离\frac{2}{\left \| w \right \|}

即可得到约束条件 

最低0.47元/天 解锁文章
姬香
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
支持向量机通俗导论（理解SVM的三层境界）
weixin_30535843的博客
01-22 1252
支持向量机通俗导论（理解SVM的三层境界） 作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年1月。 前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难...
SVM原理
Lemon_pudding的博客
08-26 3627
我们先认识一下SVM： （1）支持向量机（Support Vector Machine, SVM）是一种对数据进行二分类的广义线性分类器，其分类边界是对学习样本求解的最大间隔超平面。 （2）SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器 。 （3）SVM可以通过引入核函数进行非线性分类。 关于SVM的阐述，我们发现SVM有三宝，分别是最大间隔、对偶问题以及核函数。 1、最大间隔超平面 在说明最大间隔超平面问题之前，先说明一下什.
支持向量机 (SVM) 算法详解
最新发布
甜盐的博客
06-18 1005
支持向量机的目标是找到一个最佳的决策边界（或称超平面）来最大限度地分隔不同类别的数据点。对于线性可分的数据，SVM 通过一个线性超平面进行分类；对于线性不可分的数据，SVM 可以通过核方法（Kernel Trick）将数据映射到高维空间，使其在高维空间中线性可分。支持向量机是一种强大的监督学习算法，适用于处理复杂的高维和非线性数据。本文详细介绍了 SVM 的原理、数学公式、应用场景以及 Python 实现。虽然 SVM 在某些方面有其局限性，但通过合理选择参数和核函数，可以在许多实际应用中取得优异的效果。
机器学习 - - - LR和SVM的联系与区别？
julyedu_7的博客
12-09 2280
解析一 LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 区别： 1、LR是参数模型，svm是非参数模型，linear和rbf则是针对数据线性可分和不可分的区别； 2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss，这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。 3、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少
什么是参数模型（LR）与非参数模型（SVM）
qq_40598006的博客
02-08 1731
什么是参数模型（LR）与非参数模型（SVM）？ 在统计学中，参数模型通常假设总体（随机变量）服从某一个分布，该分布由一些参数确定（比如正太分布由均值和方差确定），在此基础上构建的模型称为参数模型；非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的（分布中也可能存在参数），但是无法知道其分布的形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。 链接：https://www.jianshu.com/p/dce9f1af7bc9 ...
SVM算法原理（1）
Call Me Hi Johnny~~
05-13 407
这个是机器学习中接触支持来向量的时候，首先接触的是知识。 主要思想是，我们对于样本二分类，我们希望找到这样一个平面（超平面）：样本的 geometric margin 最大的，其实就是在样本中离超平面的最近的点，然后使得这个最近的点的 geometric margin 最大。首先我们需要明白一些概念。function margin and geometric margin ,what is
分类算法2：SVM支持向量机方法
08-11
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，广泛应用于分类和回归问题。在机器学习领域，SVM以其高效性和泛化能力而受到关注。本篇文章将深入探讨SVM的基本概念、工作原理以及如何...
4.SVM分类算法_分类算法_SVM_
10-03
支持向量机（Support ...总的来说，SVM是一种强大且灵活的分类算法，尤其适用于小样本、高维数据。通过理解其基本原理、掌握MATLAB实现方法，并结合实际问题调整模型参数，我们可以有效地利用SVM解决各种分类问题。
遗传算法优化svm实现多分类
03-25
这表明我们要讨论的主要内容是SVM的基本原理，如何扩展到多分类任务，以及如何利用遗传算法来优化SVM的参数，以提升模型性能。 文件名“Lymphoma.csv”和“Adenoma.csv”可能包含两类不同的医学数据集，如淋巴瘤和...
SVM分类算法C代码
09-04
本文将深入探讨SVM分类算法的C++实现，帮助初学者理解SVM的核心概念和编程逻辑。 首先，我们需要了解SVM的基本原理。SVM的目标是找到一个最优超平面，该超平面能够最大程度地将不同类别的样本分开。这个超平面由...
实验四：SVM算法1
08-08
在二分类问题中，SVM旨在找到一个最优超平面，能够将两类数据完全分开，同时最大化两类样本到超平面的距离，以达到最佳的分类效果。 硬间隔SVM的理论基础在于假设数据集线性可分。设有一组数据集Xd×n={(x1, y1), ....
机器学习——SVM线性分类原理及代码应用
weixin_44822403的博客
05-21 4845
支持向量机线性分类原理及异常值检测应用方法
零基础学Support Vector Machine(SVM)
热门推荐
六半
08-31 2万+
转载自知乎耳东陈老师  零基础学Support Vector Machine(SVM) 如果你是一名模式识别专业的研究生，又或者你是机器学习爱好者，SVM是一个你避不开的问题。如果你只是有一堆数据需要SVM帮你处理一下，那么无论是Matlab的SVM工具箱，LIBSVM还是python框架下的SciKit Learn都可以提供方便快捷的解决方案。但如果你要追求的不仅仅是会用，还希望挑战一
机器学习——支持向量机（SVM）
2301_78630677的博客
09-06 1万+
支持向量机（SVM）是一种常见的机器学习方法，常用于分类（线性和非线性分类问题），回归问题。本文将详细介绍一下支持向量机算法。本文在SVM算法原理介绍中：从开始的SVM介绍，到Kernel的介绍，再到算法和核函数的选择，之后就是算法的步骤，以及分类和回归的选择；在代码实现中：亦是分别对SVM中的回归（SVR)和分类（SVC）用代码实现，并可视化结果。 关关雎鸠，在河之洲 --2023-9-4 筑基篇
SVM模型详解
tt丫的博客
04-01 2万+
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。 一、SVM定义与解决目标 SVM是一个二类分类器。其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化成一个凸二次规划问题的求解。即找到一个超平面，使两类数据离超平面越远越好，这样就可以让模型对新的数据分类更准确，即分类器更加稳定。 🎈支持向量：离分隔超平面最近的一些点 🎈间隔最大化：寻找最大化支持向量到分隔超平面的距离，以此为目标来求出分隔超平面 🎈数据分类
svm算法原理_机器学习——分类算法（1）
weixin_39755853的博客
12-09 1031
一、 K近邻KNN算法的基本思想就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：1）计算测试数据与各个训练数据之间的距离；2）按照距离的递增关系进行排序；3）选取距离最小的K个点；4）确定前K个点所在类别的出现频率；5）返回前K个点...
【机器学习】十大算法之一 “SVM”
Code_and516的博客
06-16 3988
支持向量机（Support Vector Machine，SVM）是机器学习十大算法之一，是一种二分类模型。SVM将实例空间映射到一个高维空间，将空间进行线性划分，同时使得分类面到两端最近的数据点的距离（margin）最大化，因此SVM也被称为最大间隔分类器（Maximal Margin Classifier）。SVM是由Vapnik和Cortes于1995年提出的，是一种广泛应用的机器学习算法，具有很好的泛化能力和鲁棒性。SVM是一种非常有用的算法，它在分类和回归问题中都表现出色。
解析libsvm核心代码：SVM原理与SMO算法详解
SVM的关键在于解决二次规划问题，其中SVM优化算法SMO是其核心之一，它允许在线处理大规模数据集。 文章首先介绍了SVM的基本概念，包括对偶问题的转化，原始问题和对偶问题之间的关系，以及弱对偶性和强对偶性的区别...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值