【读书笔记】周志华机器学习第六章支持向量机

最新推荐文章于 2024-06-18 19:53:07 发布

CQ小熊家

最新推荐文章于 2024-06-18 19:53:07 发布

阅读量257

点赞数

文章标签：机器学习支持向量机人工智能

本文链接：https://blog.csdn.net/weixin_43868177/article/details/126153399

版权

第六章支持向量机

1 间隔和支持向量
2 核函数
3 软间隔和正则化
4 参考文献

1 间隔和支持向量

对上图所示的数据集，有多个超平面可以划分。直观上来说，最中间加粗的那个超平面是最好的，因为离两类数据都比较远。“离两类数据都比较远”的好超平面指的是离超平面最近的点到超平面的距离最大。
最优超平面定义
$y_i \frac {{\boldsymbol w}x_i}{||{\boldsymbol w}||}$ 表示所有数据到超平面的距离。
$y_i \frac {{\boldsymbol w}x_i}{||{\boldsymbol w}||}$ 表示dist是最小距离。
$max\ dist$ 表示要最大化最小距离。
这样，如图所示的最优化问题的求解结果就是希望找的最优超平面。
使用拉格朗日函数法求解该最优化问题。最后可以证明对参数w和b有影响的数据都是离最优超平面最近的点，其他点不影响参数。这些最近的点称为支持向量。在实际学习过程中常使用SMO算法以加快学习速度。

2 核函数

对于非线性可分的数据，可将样本映射到更高维的空间 ${\boldsymbol x}->\varphi ({\boldsymbol x})$ ，比如 $x -> x^2$ 。已经证明，当非线性可分数据特征有限时，一定存在某个高维空间使得其线性可分。问题是，我们事先并不知道该如何映射，不知道是将x映射为平方还是立方。核函数 $K({\boldsymbol x}_1, {\boldsymbol x}_2) = {\varphi({\boldsymbol x}_1)}*{\varphi ({\boldsymbol x}_2)}$ 让我们不必知道具体的映射 $\varphi ({\boldsymbol x})$ ，只用知道映射之后内积的结果。常用核函数如下图所示。