支持向量机理论

最新推荐文章于 2024-03-11 15:35:15 发布

weixin_44132485

最新推荐文章于 2024-03-11 15:35:15 发布

阅读量265

点赞数

分类专栏：读书笔记(周志华机器学习) 文章标签：机器学习人工智能支持向量机 svm 算法

本文链接：https://blog.csdn.net/weixin_44132485/article/details/106681902

版权

本文探讨了支持向量机（SVM）的理论基础，包括点到超平面的距离公式证明、间隔选取问题的解析以及模型的对偶问题转化。重点展示了如何最大化间隔并确保模型的优化，同时解释了为什么间隔不能为0以及如何通过拉格朗日乘子法转换为对偶问题。

摘要由CSDN通过智能技术生成

点到平面的距离问题

这里的公式出现在书的第122页. 在样本空间中, 划分超平面可通过如下线性方程来描述:
$w^Tx+b=0$
其中 $w=(w_1;w_2;...;w_d)$ 为法向量, 决定了超平面的方向; $b$ 为位移项, 决定了超平面与原点之间的距离. 显然, 划分超平面可以被法向量 $w$ 和位移 $b$ 确定. 试证明样本空间中任意点 $x$ 到超平面的距离可写为:
$r=\frac{|w^Tx+b|}{||w||}$
证明:由于超平面的方程为 $w^Tx+b=0$ , 故 $w$ 为法向量. 设任意点的坐标为 $x_1$ , 在超平面上任找一点记为 $x_2$ , 与原点组成向量 $a$ , 此时由于点 $x_2$ 在超平面上, 故满足 $w^Tx_2+b=0$ , 将向量 $w$ 和向量 $a$ 做点积可得:
$w^Ta=w^T(x_1-x_2)=||w||||x_1-x_2||cos\theta(\theta为两个向量的夹角)\\ \Rightarrow w^Tx_1-w^Tx_2=||w||||x_1-x_2||cos\theta$
由于 $w^Tx_2+b=0$ ,故上式可转化为:
$\Rightarrow w^Tx_1+b=||w||||x_1-x_2||cos\theta$
显然, 通过几何关系可知, $x_1$ 到超平面的距离 $r=||a|||cos\theta|$