【统计学习方法】支持向量机(SVM)

最新推荐文章于 2023-04-26 10:57:08 发布

qauzy

最新推荐文章于 2023-04-26 10:57:08 发布

阅读量467

点赞数

分类专栏：数学机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/idwtwt/article/details/101622914

版权

机器学习同时被 2 个专栏收录

39 篇文章 3 订阅

订阅专栏

18 篇文章 0 订阅

订阅专栏

1 基本概念

1.1 支持向量

如下图所示，实心点和空心点分别代表数据的两种类别，他们被黄色区域中间的直线分隔成两部分。被蓝色和红色圆圈圈出的点即为支持向量。所谓支持向量，就是指距离分隔超平面最近的点。

1.2 超平面外一点x到超平面的距离

$\LARGE d = \frac{|w^Tx+b|}{||w||}$

1.3 函数间隔和几何间隔

函数间隔： $\LARGE \hat{\gamma_i} = y{_i}(w \cdot x_i + b)$

几何间隔： $\LARGE \gamma _i = y_i(\frac{w }{||w||} \cdot x_i + \frac{b}{||w||} )$

2 线性可分支持向量机

2.1 线性可分支持向量机定义

给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到一个分离超平面:

$w^Tx + b = 0$

及相应的决策模型:

$f(x) = sign(w^Tx+b)$

称为线性可分支持向量机。

2.2 最优化目标

支持向量机的优化目标是找到一个超平面，使支持向量到超平面的距离最大（几何间隔最大）。

$\LARGE \underset{w,b}{max} \quad \gamma \\ s.t \quad y_i(\frac{w^T \cdot x_i}{||w||} + \frac{b}{||w||}) \geq \gamma \quad i=1,2,3..N$

因为 $\LARGE \gamma = \frac{\hat{\gamma_i}}{||w||}$

有：

$\LARGE \underset{w,b}{max} \quad \frac{\hat{\gamma}}{||w||} \\ s.t \quad y_i(w^T \cdot x_i + b) \geq \hat{\gamma} \quad i=1,2,3..N$

w,b等比例缩放，对于超平面是没有影响的，也就是函数间隔等比例缩放对于优化目标是没有影响的，我们可以令函数间隔缩放为1，则

$\LARGE \underset{w,b}{max} \quad \frac{1}{||w||} \\ s.t \quad y_i(w^T \cdot x_i + b) -1 \geq 0 \quad i=1,2,3..N$

$\LARGE \frac{1}{||w||}$ 最大化等价于 $\LARGE \frac{1}{2}||w||^2$ 最小化。

则：

$\LARGE \underset{w,b}{min} \quad \frac{1}{2} ||w||^2\\ s.t \quad y_i(w^T \cdot x_i + b) -1 \geq 0 \quad i=1,2,3..N$

即为向量机的优化目标（原始问题）

2.3 利用拉格朗日函数求解目标函数

2.2中的目标函数转化成拉格朗日形式：

$L(w,b,a) = \frac{1}{2}||w||^2 - \sum_{i=1}^{N}\alpha_i(y_i(w^Tx_i + b )-1)$

参考:

支持向量机通俗导论（理解SVM的三层境界）

支持向量机（SVM）中的 SMO算法

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【统计学习方法】支持向量机(SVM)

1 基本概念1.1 支持向量如下图所示，实心点和空心点分别代表数据的两种类别，他们被黄色区域中间的直线分隔成两部分。被蓝色和红色圆圈圈出的点即为支持向量。所谓支持向量，就是指距离分隔超平面最近的点。1.2 超平面外一点x到超平面的距离1.3 函数间隔和几何间隔函数间隔：几何间隔：2 线性可分支持向量机2.1 线性可分支持向量机定义给定线性可分训练数据集，...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。