分类算法（二）：SVM的原理

最新推荐文章于 2024-11-15 13:13:53 发布

姬香

最新推荐文章于 2024-11-15 13:13:53 发布

阅读量7.2k

点赞数 3

分类专栏： Python 机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_18310041/article/details/94978524

版权

本文详细介绍了支持向量机（SVM）的工作原理，包括最优分类超平面、间隔与支持向量的概念，以及如何通过对偶问题简化求解。特别地，讨论了核函数在解决线性不可分问题中的作用，如线性核、非线性核（如RBF和sigmoid）及其应用场景。此外，还阐述了软间隔的概念，允许一定程度的错误分类，并介绍了支持向量回归（SVR）的基本思想。

摘要由CSDN通过智能技术生成

支持向量机基本模型定义为特征空间上的间隔最大的线性分类器。而它的学习策略为最大化分类间隔,最终可转化为凸二次规划问题求解。SVM为非参数模型。SVM的损失函数采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。

应用：解决二分类或者多分类问题

最优分类超平面

最优分类超平面–尽可能的远离所有类别的数据点，对已知和未知数据都能准确地分类，因而，我们需要寻找有最大间隔的最优超平面。

定义超平面：

$w^{T}x=0$

在二维空间里面，假设两个向量 $X = \left( \begin{array}{ccc} -b \\ -a \\ 1 \end{array} \right)$ $W = \left( \begin{array}{ccc} 1 \\ x \\ y \end{array} \right)$

可以得到：

解得，在二维平面的表示方式 y=ax+b 等价于 $w^{T}x=0$

间隔与支持向量

正交投影：

　　　

可以得到向量　z=(u⋅x)u 是向量x在y上的正交投影。

由上可得：

点A(3,4)和超平面之间的距离||p||，p=(u⋅a)u

因而，空间中任一点到超平面 (w,b) 的距离可以写成： $r = \frac{w^{T} }{\left \| w \right \|} \cdot x=\frac{\left | w^{T}x+b \right| }{\left \| w \right \|}$

支持向量的定义：训练样本使得 $\left | w^{T}x_{i}+b \right |=1$ 成立，即样本在间隔边界处。

目标函数：我们需要最大化间隔，两个不同类支持向量到超平面的距离 $\frac{2}{\left \| w \right \|}$

即可得到约束条件

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

>