SVM之软间隔_机器学习

最新推荐文章于 2024-04-29 23:45:04 发布

明朝百晓生

最新推荐文章于 2024-04-29 23:45:04 发布

阅读量862

点赞数

分类专栏：人工智能

4AM_明朝百晓生

本文链接：https://blog.csdn.net/chengxf2/article/details/103024459

版权

人工智能专栏收录该内容

102 篇文章 3 订阅

订阅专栏

前言

硬间隔，就是存在所有样本必须划分正确的约束条件，即所有样本必须严格满足约束条件：
$y_i(w^Tx_i+b) \geq 1$

但样本集中总是存在一些噪音点或者离群点，如果强制要求所有的样本点都满足硬间隔，可能会导致出现过拟合的问题，甚至会使决策边界发生变化，为了避免这个问题的发生，所以在训练过程的模型中，允许部分样本（离群点或者噪音点）不必满足该约束。当然在最大化间隔的同时，不满足约束的样本应尽可能少

为了解决上面问题，引入了软间隔

线性支持向量机
对偶算法求解问题
KKT条件
支持向量

一线性支持向量机

当部分样本点不满足函数间隔大于等于1的约束条件，需要引入松弛变量 $\epsilon_i$ $\geq 0$

满足约束条件：

$y_i(w^Tx_i+b) \geq 1-\epsilon_i$

目标函数边变为：

$\frac{1}{2}||w||^2+C\sum_{i=1}^{N} \epsilon_i$

二学习对偶算法

$L(w,b,\epsilon,\alpha,u)=\frac{1}{2}||w||^2+C\sum_{i=1}^{N}\epsilon_i-\sum_{i=1}^{N}\alpha_i(y_i(w^Tx_i+b)-1+\epsilon_i)-\sum_{i=1}^{N}u_i\epsilon_i$ .....................1

其中 $u_i \geq 0, \alpha_i \geq 0$

首先对 $w,b,\epsilon$ 求导，求极小值得到：

$\bigtriangledown_w L =w- \sum_{i=1}^{N}\alpha_iy_ix_i=0$

$\bigtriangledown_b L =-\sum_{i=1}^{N}\alpha_iy_i=0$

$\bigtriangledown_{\epsilon_i} L =C -\alpha_i-u_i=0$

带入1, 得到

$min_{w,b,\epsilon}L=-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i^Tx_j)+\sum_{i=1}^{N}\alpha_i$

再求 $\alpha$ 的极大，即得到对偶问题：

$max_{\alpha} - \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_i\alpha_jy_iy_j(x_i^Tx_j)+\sum\alpha_i$

约束条件st：

$\sum_{i=1}^{N} \alpha_iy_i=0$

$C=\alpha_i+u_i$

$\alpha_i \geq 0$

$u_i \geq 0$

利用等式消去 u_i ,

$0 \leq \alpha_i \leq C$

三 KKT 条件

$w=\sum_{i=1}^{N}\alpha_i y_ix_i$

$b= y_j-\sum_{i=1}^{N} y_i\alpha_i(x_i^Tx_j)$

原始问题是凸二次规划问题，解满足KKT条件:

$\bigtriangledown_w L =w- \sum_{i=1}^{N}\alpha_iy_ix_i=0$

$\bigtriangledown_b L =-\sum_{i=1}^{N}\alpha_iy_i=0$

$\bigtriangledown_{\epsilon_i} L =C -\alpha_i-u_i=0$

$\alpha_i(y_i(w^Tx_i+b)-1+\epsilon_i)=0$

$u_i\epsilon_i=0$

$\alpha_i=0$

$\epsilon_i=0$

$u_i \geq 0$

得到分离超平面：

w^Tx+b=0

分类决策函数

f(x)=sign(w^Tx+b)

四支持向量

4.1 $\alpha_i <C$

$u_i \in(0,C), \epsilon_i =0$

x_i 落在间隔边界上

4.2 $\alpha_i=C$

4.2.1 若 $0<\epsilon_i<1$ 则 , u_i =0 ，分类正确，落在间隔与分离超平面间

4.2.2 若 $\epsilon_i=1$ ,则点落在分离超平面上

4.2.3 若 $\epsilon_i>1$ ，则分类错误

参考文献：

《统计学习方法》

明朝百晓生

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录