SVM 支持向量机(1)--- 完全线性可分

SVM 支持向量机

线性可分SVM : hard margin

距离

• 函数间隔:$w\cdot x+b \quad \text{几何间隔:}\frac{1}{||w||}(w\cdot x+b)$

推导 模型 y=sign(wx+b)

• 超平面: $w\cdot x+b=0$
• 函数间隔:$y_i (w\cdot x_i+b) \ge margin$,
• • 令margin=1,并做归一化.得margin的几何距离$\frac{1}{||w||}$,并使这个几何距离最大(注:||w||为L2范式)
• • 可表示为以下 凸二次规划问题:
    $$\begin{array}{lll} max& \frac{1}{||w||}\\\\ &s.t.\quad y_i (w\cdot x_i+b)\ge 1\end{array}$$
• • 等价于:
    $$\begin{array}{lll}\\ min& \frac{1}{2}||w||^{_2}\\\\ &s.t.\quad y_i (w\cdot x_i+b)\ge 1\\\\ &&\text{注: }||w||^{_2}=\sum_{i=1}^K w_i^2,\quad \text{K 为特征数量} \end{array}$$

优化求解

可跳过这段, 直接看 更加一般的线性SVM模型 链接

拉格朗日乘子法

• 
  
• 广义拉格朗日函数:
  $$L(w,b,\alpha)=\frac{1}{2}||w||^{_2}-\sum_{i=1}^N\alpha_i y_i(w\cdot x_i+b)+\sum_{i=1}^N\alpha_i$$
  

原始问题 and 对偶问题:

$$\text{原始问题的解: }\min_{w,b}\ \max_{\alpha\ge0}\ L(w,b,\alpha)$$
$$\text{对偶问题的解: }\max_{\alpha\ge0}\ \min_{w,b}\ L(w,b,\alpha)$$
目标函数,不等式条件函数为v凸函数,所以对偶问题的解α* ,与原始问题的解w* , b*,满足KKT条件)

KKT条件:

$$\begin{array}{llll} \triangledown_{w}L(w,b,\alpha)=w-\sum_{i=1}^N\alpha_i y_ix_i=0&&(1)\\ \triangledown_{b}L(w,b,\alpha)=-\sum_{i=1}^N\alpha_i y_i=0&&(2)\\ \triangledown_{\alpha}L(w,b,\alpha)=0 \quad _{如(3)式所示, 含有\alpha的项为0,所以偏导=0}\\\\ \alpha_i [y_i(w\cdot x_i+b)-1]=0&&(3)\ ^\text{对偶互补条件}\\\\ y_i(w\cdot x_i+b)-1\ge0&&(4)\\\\ \alpha_i\ge0&&(5)\\ \end{array}$$
由(1)式得: $\quad w=\sum\limits_{i=1}^N\alpha_i y_ix_i\quad\quad$ 至少有一个$\alpha_j>0$

($\alpha_i$ 全为0时,$w=0$不是原问题的解,所以至少有一个$\alpha_j\gt0$)

对于$\alpha_j\gt0$ 的那个j数据点$(x_j,y_j)$待入(3)式有: $y_j(w\cdot x_j+b)-1=0$

$(y_j)^2=1\text{上式乘以}y_j,\text{得到:}$

$b=y_j-w\cdot x_j=y_j-(\sum\limits_{i=1}^N\alpha_i y_ix_i)\cdot x_j=y_j-\sum\limits_{i=1}^N\alpha_i y_i(x_i\cdot x_j)$

转化为求解α问题,通过对偶问题求解$\alpha$:

先求极小$\min\limits_{w,b} L(w,b,\alpha)$部分:

KKT式(1),(2) 代回$L(w,b,\alpha)$得:

$$\mathop{min}\limits_{w,b} L(w,b,\alpha)=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^N\alpha_i$$
再求极大 $max$ 部分:
$$\begin{array}{rrr} \mathop{max}_\alpha \quad &-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^N\alpha_i\\ &\quad \quad s.t. \quad \alpha_i\ge0,\quad i=1,1,2,\cdots N \end{array}$$
转化为求极小
$$\min_\alpha \quad \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i$$
$$\begin{array}{lll} \quad \quad s.t. &\sum_{i=1}^N\alpha_i y_i=0\\ &\alpha_i\ge0,\quad i=1,2,3,\cdots N \end{array}$$

$$***********************************************************$$

线性SVM :soft margin

链接

$$***********************************************************$$

线性不可分SVM : kernel trick + soft margin

链接

$$*************************************************************$$

---

$$\\. \\.\\. \\.\\. \\.\\. \\.$$

reference:
                            <<统计学习方法>>    李航