支持向量机学习笔记

最新推荐文章于 2024-07-20 21:19:37 发布

jxc_

最新推荐文章于 2024-07-20 21:19:37 发布

阅读量240

点赞数

分类专栏：机器学习笔记文章标签：支持向量机

本文链接：https://blog.csdn.net/weixin_42761645/article/details/103732734

版权

机器学习笔记专栏收录该内容

14 篇文章 0 订阅

订阅专栏

一、简介

有数据集 $T=\left \{ (x_1,y_1) ,(x_2,y_2) ,...(x_N,y_N) \right \}$

分隔超平面：将线性可分数据分隔开来的边界 wx+b 。当数据为二维数据时，那么分割超平面就是一条直线。

支持向量：离分隔超平面最近的那些点。

可以将两类数据正确分开的平面有无数个，我们希望支持向量离分隔超平面的间隔越大越好，越大也就说明我们找到的分隔超平面越可信。

二、函数间隔和几何间隔

函数间隔：一般来说，当超平面 wx+b=0 确定的情况下， $\left | wx+b \right |$ 能够相对的表示点距离超平面的远近，而 wx+b 的符号与标记的符号是否一致能够表示分类是否正确，所以可用 y(wx+b) 来表示分类的正确性和确信度。

$\hat{\gamma _i}=y_i(wx_i+b)$

几何间隔： $\gamma _i=y_i\frac{(wx_i+b)}{\left \| w \right \|}$ ，即点到平面的距离。

三、间隔最大化

要让间隔最大化，首先要找到支持向量，支持向量就是离分隔平面最近的一部分点，这些点到分隔平面的距离都要小于某个值。然后让支持向量到分隔平面的几何间隔最大，即：在 $y_i(wx_i+b)>=\hat{\gamma }$ 的条件下，求 $\frac{\hat{\gamma }}{\left \| w \right \|}$ 的最大值，等价于：在 y_i(wx_i+b)>=1 的条件下，求 $\frac{1}{2}\left \| w \right \|^{2}$ 的最小值。

由此可以用拉格朗日乘子法中的不等式约束条件 $g(x)=1-y_i(w^{T}x+b)<=0$ ，为 $f(x)=\frac{1}{2}\left \| w \right \|^{2}$ 的每条约束添加乘子，得到函数：

$L(w,b,\alpha ) = f(x)+\sum_{j=1}^{n}\alpha _jg_j(x)=\frac{1}{2}\left \| w \right \|^{2}+\sum_{j=1}^{n}\alpha _j(1-y_i(w^{T}x+b))$

对 w,b 求偏导得： $\frac{\partial L(w,b,\alpha )}{\partial w}=w-\sum_{j=1}^{n}\alpha _jy_jx_j$ ， $\frac{\partial L(w,b,\alpha )}{\partial b}=-\sum_{j=1}^{n}\alpha _jy_j$ 。令两个偏导为0，得

$w=\sum_{j=1}^{n}\alpha _jy_jx_j,b=0$ 。

最后得： $max \sum_{i=1}^{m}\alpha _i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _iy_ix_i^{T}\alpha _jy_jx_j$ , 约束条件为： $\sum_{j=1}^{m}\alpha _jy_j=0,\alpha _j>=0,i=1,2...m$ 。

$f(x)=w^{T}x+b=\sum_{j=1}^{m}\alpha _jy_jx_j\cdot x+b$ 。

使用拉格朗日乘子法对于不等式约束要遵循KKT条件。

jxc_

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
支持向量机学习笔记

一、简介有数据集分隔超平面：将线性可分数据分隔开来的边界。当数据为二维数据时，那么分割超平面就是一条直线。支持向量：离分隔超平面最近的那些点。可以将两类数据正确分开的平面有无数个，我们希望支持向量离分隔超平面的间隔越大越好，越大也就说明我们找到的分隔超平面越可信。二、函数间隔和几何间隔函数间隔：一般来说，当超平面确定的情况下，能够相对的表示点距离超平面的远近，...
复制链接

扫一扫

专栏目录