机器学习--分类算法--SVM算法理论

最新推荐文章于 2023-06-03 00:41:20 发布

VIP文章我是疯子喽

最新推荐文章于 2023-06-03 00:41:20 发布

阅读量1.3k

点赞数

文章标签：机器学习支持向量机 smo算法拉格朗日乘子法算法

本文链接：https://blog.csdn.net/weixin_35733800/article/details/105222533

版权

3）线性不可分SVM算法流程（SVM软间隔模型）

3 SVR（不推荐使用）

三 SMO算法

一算法概述

1 点到超平面的几何距离公式

$(x_{0},y_{0})\underset{distance}{\rightarrow }y=w^Tx+b\Rightarrow distance=\frac{|w^Tx_{0}+b|}{||w||_{2}}$

注意：分母为点到超平面的函数距离

2 算法核心思想

第一点：在数据中找到一个超平面，让尽可能多的数据分布在超平面两侧
第二点：距离超平面比较近的点近可能的远离这个超平面

注意：第一点感知器模型也可以做到，但是第二点才是SVM算法的最核心思想

3 算法中几个重要概念

1）线性可分

可以在数据中找到一个超平面将尽可能多的数据二元分开（目标属性标记+1或者-1）

2）线性不可分

无法在数据中找到一个超平面将尽可能多的数据二元分开

注意：但是可以通过低维映射高维空间，使之成为线性可分

3）间隔

样本距离超平面的距离

4）划分超平面

将数据划分开的超平面

5）支持向量

一般认为是距离超平面最近的样本（默认函数距离为1）

二算法理论

1 线性可分SVM

1）硬间隔SVM算法流程

注意：硬间隔要求样本到分割超平面的函数距离大于等于1，对于异常数据很敏感

第一步：假定条件（超平面、支持向量、支持向量距离）

第一点：超平面

$y=w^{T}x+b$

第二点：支持向量

$\left \{ x|w^{T}x+b=\pm 1 \right \}$

第三点：支持向量的间隔

$\frac{|w^{T}x+b|}{||w||_{2}}=\frac{1}{||w||_{2}}$

第二步：目标函数

$\left\{\begin{matrix} max(\frac{1}{||w||_{2}})\\s.t.y^{(i)}(w^{T}x^{(i)}+b)\geq 1,i=1,2,...,m \end{matrix}\right.\Rightarrow$ $\left\{\begin{matrix} min(\frac{1}{2}||w||\tfrac{2}{2})\\s.t.1-y^{(i)}(w^{T}x^{(i)}+b)\leq 0,i=1,2,...,m \end{matrix}\right.$

第三步：对于有条件约束的目标函数采用泛拉格朗日乘子法进行凸优化

第一点：构建泛拉格朗日函数（泛拉格朗日乘子 $\beta\geq 0$ ），并将原始问题转化为对偶问题

$L(w,b,\beta )=\underset{w,b,\beta }{\arg min}\left \{ \frac{1}{2}||w||^{2}_{2}+\sum_{i=1}^{m}\beta_{i}(1-y^{(i)}(w^{T}x^{(i)}+b)) \right \}$

$\underset{w,b,\beta}{\arg min}(L(w,b,\beta ))\Leftrightarrow \underset{w,b}{min}\left \{ \underset{\beta}{ max}L(w,b,\beta) \right \}\Leftrightarrow \underset{\beta}{max}\left \{\underset{w,b}{ min}L(w,b,\beta) \right \}$

第二点： $L(\beta )$

$L(\beta )=\underset{w,b}{min}\left \{ L(w,b,\beta) \right \}$

最低0.47元/天解锁文章

我是疯子喽

关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
机器学习--分类算法--SVM算法理论

目录一算法概述1 点到超平面的几何距离公式2 算法核心思想3 算法中几个重要概念1）线性可分2）线性不可分3）间隔4）划分超平面5）支持向量二算法理论1 线性可分SVM1）硬间隔SVM算法流程2）软间隔SVM算法流程2 线性不可分SVM3 SVR三 SMO算法一算法概述1 点到超平面的几何距离公式注意：分母为点到...
复制链接

扫一扫