【西瓜书Chapter6】支持向量机

最新推荐文章于 2023-04-08 16:45:51 发布

m0_49223946

最新推荐文章于 2023-04-08 16:45:51 发布

阅读量393

点赞数

文章标签：人工智能算法机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_49223946/article/details/127556800

版权

为什么叫支持向量机？

对于感知机而言，我们只需要找到一个超平面，将所需分类的两个类别分开即可。

假设集合 $M,x_i\in M$ ，代表所有误分类点，感知机的损失为所有误分类点所对应的集合，取其最小值，就可以得到超平面的参数 $w,b$ 。

$\underset{w,b}{min}\, [-\sum _{x_i\in M}y_i \, (w\cdot x_i + b)]$

然而，通过这个损失函数选择出来的分类超平面并不是唯一的，比如图中的虚线可以作为超平面，红线和蓝线也可可能是这个数据集的分离超平面。

对于这些超平面，他们分类的性能是不一样的，比如我们有另外一个数据集，它比这个数据集多了一个样本点，如图中蓝圈。对于虚线来说它仍能将所有样本正确分类，而蓝线就出现了误分类。

这里就涉及到了分类确信度的问题，假设我们所拥有的样本点为 $(x_i,y_i)$ ，我们可以用样本点到决策面的距离来度量确信度。

$r=\frac{\left | \boldsymbol{w}\cdot \boldsymbol{x_i} + b \right |}{\left \| \boldsymbol{w} \right \|}$

除了分类确信度，我们还需要度量分类的正确性。如果分类正确，那么 $y_i$ 与 $\boldsymbol{w} \cdot \boldsymbol{x}_i + b$ 同号。即当样本点为正样本时，样本点位于决策面上方， $y_i = +1$ ， $\boldsymbol{w}\cdot \boldsymbol{x}_i + b > 0$ ；当样本点为负样本时，样本点位于决策面下方， $y_i = -1$ ， $\boldsymbol{w}\cdot \boldsymbol{x}_i + b < 0$ 。

接下来，我们如何将分类确信度和分类正确性结合起来呢？

我们可以定义这样一个指标：几何间隔。

$\gamma_i =\frac{y_i(\boldsymbol{w}\cdot \boldsymbol{x}_i + b)}{\boldsymbol{\left \| w \right \|}}$

每个样本点 $(x_i,y_i )$ 都可以通过上式计算出几何间隔，那么哪些样本点最有用呢？

我们现在最需要的是离决策面最近的样本点。对几何间隔取最小值，即可得到最近的样本点。

$\gamma = \underset{i=1,\cdots, N}{min} \gamma _i$

回到最开始的这幅图，我们可以看到，这样的点正类有两个，负类有一个。如果我们想要找到最佳的超平面，我们自然希望，能够把这些样本点分的越远越好，也就是把上述最小的间隔最大化。

因此我们可以在几何间隔最小化的基础上加上最大化来求取参数 $w,b$ 。

$\underset{\boldsymbol{w}, b}{max} \, \underset{i=1,\cdots , N}{min} \, \gamma _i$

前面我们提到了只有距离决策面最近的点才有用，所以只需要找到距离超平面最近的点，它们决定了分离超平面。我们把训练数据集的样本点中与分离超平面距离最近的样本点的实例成为支持向量（support vector）。

内容来自：【合集】十分钟机器学习系列视频《统计学习方法》

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
【西瓜书Chapter6】支持向量机

支持向量机
复制链接

扫一扫

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。