机器学习-支持向量机 1

最新推荐文章于 2022-09-02 10:23:41 发布

我要成魔

最新推荐文章于 2022-09-02 10:23:41 发布

阅读量248

点赞数

分类专栏：成魔心酸路

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/liuxinnibaba/article/details/107748144

版权

成魔心酸路专栏收录该内容

11 篇文章 0 订阅

订阅专栏

1、线性可分支持向量机与硬间隔最大化

1.1线性可分支持向量机

当训练数据集线性可分时，存在无穷个分类超平面。感知机利用误分类最小的策略，求得分类超平面；线性可分支持向量机利用间隔最大化求最有分离超平面，此时解是唯一的。

1.2函数间隔和几何间隔

函数间隔：

在超平面 $w\cdot x+b=0$ 确定的情况下， $|w\cdot x+b|$ 能够相对的表示点 $x$ 距离超平面的远近， $w\cdot x+b$ 的符号与类标记 $y$ 的符号是否一致表示分类是否正确。

所以 $y(w\cdot x+b)$ 表示分类的正确性及确信度，称为函数间隔。

函数间隔定义：

对于给定的训练集 $T$ ，和超平面 $(w,b)$ ，定义超平面 $(w,b)$ 关于样本点 $(x_{i},y_{i})$ 的函数间隔为

$\hat{\gamma _{i}}=y_{i}(w\cdot x_{i}+b)$

定义超平面 $(w,b)$ 关于数据集 $T$ 的函数间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点 $(x_{i},y_{i})$ 的函数间隔之最小值，即

$\hat{\gamma}=\min_{i=1,\cdots ,N}\hat{\gamma_{i}}$

在选择分离超平面时，只有函数间隔还不够，因为只要成比例地改变 $w$ 和 $b$ ，例如将他们改为 $2w$ 和 $2b$ ，超平面并没有改变，但是函数间隔却变为原来的两倍。

因此，需要对超平面的法向量加以约束，如规范化，使得间隔时确定的，这时函数间隔成为几何间隔。

当样本点与超平面被正确分类时，点 $x_{i}$ 与超平面 $(w,b)$ 的距离是

$\gamma _{i} = y_{i}\left ( \frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||} \right )$

其中 $||w||$ 为 $w$ 的 $L_{2}$ 范数。

则有，几何间隔定义：

给定的训练数据集 $T$ 和超平面 $(w,b)$ ，定义超平面 $(w,b)$ 关于样本点 $(x_{i},y_{i})$ 的几何间隔为

$\gamma _{i} = y_{i}\left ( \frac{w}{||w||}\cdot x_{i}+\frac{b}{||w||} \right )$

定义，超平面 $(w,b)$ 关于数据集 $T$ 的几何间隔为超平面关于数据集中所有样本点的几何间隔之最小值

$\gamma=\min_{i=1,\cdots ,N}\gamma_{i}$

超平面对于样本点的几何间隔是实例点到超平面的带符号的距离，当样本点被超平面正确分类时，就是实例点到超平面的距离。

函数间隔和几何间隔有如下关系：

$\gamma_{i} =\frac{\hat{\gamma _{i}}}{||w||}$ $\gamma =\frac{\hat{\gamma }}{||w||}$

如果 $||w||$ =1,那么函数间隔和几何间隔相等，当超平面参数成比例地改变，函数间隔也按比例改变，而几何间隔不变

1.3间隔最大化

支持向量机的基本思想：求解能够正确划分训练集并且几何间隔最大的分离超平面。

这里的间隔最大化称为硬间隔最大化。

间隔最大化的直观解释：对训练数据而言，找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，也就是，不仅将训练数据分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开，这样的超平面应该对未知的新实例有很好的分类预测能力。

关于支持向量和间隔边界

在线性可分的情况下，训练集中的样本点，与分离超平面距离最近的样本点的实例称为支持向量，支持向量是使下式成立的点

$y_{i}(w\cdot x_{i}+b)-1=0$

对于 $y_{i}=+1$ 的正例点，支持向量在超平面

$H_{1}:w\cdot x+b=+1$

对于 $y_{i}=-1$ 的正例点，支持向量在超平面

$H_{2}:w\cdot x+b=-1$

如下图所示，在 $H_{1}$ 和 $H_{2}$ 上的点就是支持向量

以上内容为线性可分支持向量机与硬间隔最大化。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习-支持向量机 1

1、线性可分支持向量机与硬间隔最大化1.1线性可分支持向量机当训练数据集线性可分时，存在无穷个分类超平面。感知机利用误分类最小的策略，求得分类超平面；线性可分支持向量机利用间隔最大化求最有分离超平面，此时解是唯一的。1.2函数间隔和几何间隔函数间隔：在超平面确定的情况下，能够相对的表示点距离超平面的远近，的符号与类标记的符号是否一致表示分类是否正确。所以表示分类的正确性及确信度，称为函数间隔。函数间隔定义：对于给定的训练集，和超平面，定义超平面关于样本点的函数...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。