SVM 支持向量机(2)---不完全线性可分-CSDN博客

本文链接：https://blog.csdn.net/qq_31691993/article/details/76618483

SVM 支持向量机

SVM 支持向量机

1-线性可分SVM :

硬间隔 hard margin

链接

2-线性SVM : soft margin

从上一部分可知,完全线性可分的SVM模型的优化问题为:

$m i n 1 2 | | w | | 2 s . t . y i (w \cdot x i + b) \geq 1$ $\begin{array}{lll} min& \frac{1}{2}||w||^{_2}\\ &s.t.\quad y_i (w\cdot x_i+b)\ge 1 \end{array}$

加入soft margin (软间隔),使之成为更加一般化的线性SVM模型,使优化问题变为:

$m i n 1 2 | | w | | 2 s . t . + C \sum i = 1 N ξ i y i (w \cdot x i + b) \geq 1 - ξ i ξ i \geq 0 C 为大于 0 的调整值, 称为惩罚参数 .$ $\begin{array}{lll} min&\frac{1}{2}||w||^{_2}&+\mathop{C}\sum_{i=1}^N\xi_i\\ &&&C 为大于0的调整值,称为惩罚参数.\\ &s.t.\quad &y_i (w\cdot x_i+b)\ge 1-\xi_i&\\ &&\xi_i\ge0 \end{array}$

优化求解

拉格朗日乘子法

广义拉格朗日函数:

$L (w, b, ξ, α, β) = 1 2 | | w | | 2 + C \sum i = 1 N ξ i - \sum i = 1 N α i y i (w \cdot x i + b) + \sum i = 1 N α i (1 - ξ i) - \sum i = 1 N β i ξ i$ $L(w,b,\xi,\alpha,\beta)=\frac{1}{2}||w||^{_2}+\mathop{C}\sum_{i=1}^N\xi_i-\sum_{i=1}^N\alpha_i y_i(w\cdot x_i+b)+\sum_{i=1}^N\alpha_i(1-\xi_i)-\sum_{i=1}^N\beta_i\xi_i$
i.原始问题 and 对偶问题:

$原始问题的解 : min w, b max α, β \geq 0 L (w, b, ξ, α, β)$ $\text{原始问题的解: }\min_{w,b}\ \max_{\alpha,\beta\ge0}\ L(w,b,\xi,\alpha,\beta)$
$对偶问题的解 : max α, β \geq 0 min w, b L (w, b, ξ, α, β)$ $\text{对偶问题的解: }\max_{\alpha,\beta\ge0}\ \min_{w,b}\ L(w,b,\xi,\alpha,\beta)$
目标函数,不等式条件函数为v凸函数,所以对偶问题的解α* β* ,与原始问题的解w* b*,满足KKT条件)

ii.KKT条件:

$(1) ▽ w = w - \sum i = 1 N α i y i x i = 0 (2) ▽ b = - \sum i = 1 N α i y i = 0 (3) ▽ ξ = C i - α i - β i = 0 (4) β i ξ i = 0 (5) ξ i \geq 0 (6) β i \geq 0 (7) α i [y i (w \cdot x i + b) - 1 + ξ i] = 0 (8) y i (w \cdot x i + b) - 1 + ξ i \geq 0 (9) α i \geq 0 K K T 对偶互补条件 K K T 对偶互补条件$ $\begin{array}{llll} (1)\qquad\triangledown_{_w}=w-\sum_{i=1}^N\alpha_i y_ix_i=0\\ (2)\qquad\triangledown_{_b}=-\sum_{i=1}^N\alpha_i y_i=0 \qquad\\ (3)\qquad\triangledown_{_\xi}=C_i-\alpha_i-\beta_i=0 \qquad\\\\ (4)\qquad\beta_i\ \xi_i=0\qquad &KKT对偶互补条件\\\\ (5)\qquad\xi_i\ge0\\\\ (6)\qquad\beta_i\ge0\\\\ (7)\qquad\alpha_i\ [y_i(w\cdot x_i+b)-1+\xi_i]=0\qquad &KKT对偶互补条件\\\\ (8)\qquad y_i(w\cdot x_i+b)-1+\xi_i\ge0\\\\ (9)\qquad\alpha_i\ge0 \end{array}$
由式(9),(6),(3)得:
$0 \leq α i \leq C$ $0\le\alpha_i\le C$

由式(1)得:
$w = \sum i = 1 N α i y i x i$ $w=\sum_{i=1}^N\alpha_i y_ix_i$
当 $\alpha_j,\beta_j\ne0$ 时,结合等式(3),得: $0<\alpha_j<C\\$
式(4),(7)得:
$ξ j = 0 y j (w \cdot x j + b) - 1 + ξ j = 0$ $\begin{array}{cll} &\xi_j=0\\ &y_j(w\cdot x_j+b)-1+\xi_j=0\\ \end{array}$
所以:
$b = y - w \cdot x j b 值不唯一, 一般取其平均$ $b=y-w\cdot x_j\\ \qquad _{b值不唯一, 一般取其平均}$
$* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *$ $******** * * * * * * * * * * * * * * * ********$

求解对偶问题:

将KKT求得的 $w,b代入L(w,b,\xi,\alpha,\beta)$ 得:

$m i n w, b, ξ L (w, b, ξ, α, β) = - 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) + \sum i = 1 N α i + b \sum i = 1 N α i y i          式 (2) 得, 这一项 = 0 + \sum i = 1 N (C - α i - β i) ξ i                      式 (3) 得, 这一项 = 0$ $\begin{array}{rll} \mathop{min}\limits_{w,b,\xi} L(w,b,\xi,\alpha,\beta)\ \ \ =&-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^N\alpha_i\\ &\qquad + \mathop{\underbrace{b\sum_{i=1}^N\alpha_iy_i}}_{式(2)得,这一项=0}+\ \mathop{\underbrace{\sum_{i=1}^N(C-\alpha_i-\beta_i)\xi_i}}_{式(3)得,这一项=0}\\\\\\ \end{array}$
再求关于 $\alpha$ 的极大:
$m a x α - 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) + \sum i = 1 N α i s . t . 0 \leq α i \leq C \sum i = 1 N α i y i = 0$ $\begin{array}{lll} \mathop{max}_\alpha \quad &-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^N\alpha_i\\ &s.t.\quad 0\le\alpha_i\le C\\ &\qquad\sum_{i=1}^N \alpha_iy_i=0 \end{array}$

转化为求 $min$ (乘以-1),等价于:

$m i n α 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) - \sum i = 1 N α i s . t . 0 \leq α i \leq C \sum i = 1 N α i y i = 0$ $\begin{array}{lll} \mathop{min}_\alpha \quad & \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i\\ &s.t.\quad 0\le\alpha_i\le C\\ &\qquad\sum_{i=1}^N \alpha_iy_i=0 \end{array}$

求解方法:

SMO算法 :链接

3-非线性可分SVM :

链接

软间隔soft margin +核技巧kernel trick

. . . . . .

$\\ . \\ . \\ . \\ . \\ . \\ . \\$

reference:
                            <<统计学习方法>>    李航