第七章 支持向量机（四） 序列最小最优化算法SMO

在前三篇中，一直有一个问题未解决，就是如何求解对偶问题。
SVM的对偶问题如下

$$\mathop {max}_{\alpha}\quad -\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^n\alpha_i\alpha_jy_iy_jK(x_i, x_j)+\sum_{i=1}^n\alpha_i \tag{1}$$
$$s.t. \quad \sum_{i=1}^n\alpha_iy_i=0$$
$$0 \le \alpha_i\le C, \quad i=1,2,...n$$
这是一个凸二次规划问题，现已有许多求解该问题的方法。
SMO(Sequential Minimal Optimization)是针对求解SVM的Lagrange对偶问题的高效算法。

一、KKT条件

根据第一篇
https://blog.csdn.net/csdn_lzw/article/details/79757715
的定理知对偶问题的解的充要条件是解满足KKT条件。
也就是说如果所有变量的解都满足KKT条件，那么这个问题的解就得到了。
支持向量机的KKT条件
解的偏导=0

$$\nabla_wL(w^*,b^*,\xi^*,\alpha^*,\mu^*) = w^*-\sum_{i=1}^{n}\alpha_i^*y_ix_i=0\tag{2}$$
$$\nabla_bL(w^*,b^*,\xi^*,\alpha^*,\mu^*) = -\sum_{i=1}^{n}\alpha_i^*y_i=0 \tag{3}$$
$$\nabla_\xi L(w^*,b^*,\xi^*,\alpha^*,\mu^*) =C-\alpha^*-\mu^*=0 \tag{4}$$
解满足不等式约束，
$$y_i(w^*\centerdot x_i+b^*)-1+\xi^* \ge0 \tag{5}$$
$$\xi^* \ge0 \tag{6}$$
拉格朗日乘子大于0
$$\alpha_i^*\ge0 \tag{7}$$
$$\mu_i^*\ge0 \tag{8}$$
对偶互补:拉格朗日乘子大于0时，解的不等式约束的等号成立
$$\alpha_i^*(y_i(w^*\centerdot x_i+b^*)-1+\xi_i^*) = 0 \tag{9}$$
$$\mu_i^* \xi_i^*=0, \quad i=1,2,...n \tag{10}$$

另一个角度的KKT条件
$$\alpha_i^* =0 \Leftrightarrow y_ig(x_i)\ge 1$$
$$0<\alpha_i^* <C \Leftrightarrow y_ig(x_i)= 1$$
$$\alpha_i^* =C \Leftrightarrow y_ig(x_i)\le 1$$

$\alpha_i^* =0 \qquad$ 公式4 $\Rightarrow$ $\mu_i^* >0$, 公式10 $\Rightarrow$ $\xi_i^* =0$，公式5 $\Rightarrow$ $y_ig(x_i)\ge 1$

$0<\alpha_i^* <C$ 公式4 $\Rightarrow$$\mu_i^* >0$, 公式10$\Rightarrow$$\xi_i^* =0$，公式9$\Rightarrow$$y_ig(x_i)= 1$

$\alpha_i^* =C\qquad$ 公式4 $\Rightarrow$$\mu_i^* =0$，公式6,9$\Rightarrow$$y_ig(x_i)\le 1$
上面的推导知，公式7，8成立。
因此这种角度的KKT条件涵盖了原来的所有KKT条件公式，且更简洁。
$\alpha_i^* =0$的样本点，函数间隔大于等于1，属于分类正确的点；
$\alpha_i^* >0$的样本点，都属于支持向量。其中又分为两种：
$0<\alpha_i^* <C$ ，函数间隔等于1，样本点是恰好在间隔边界上的支持向量；
$\alpha_i^* =C$ , 支持向量落在间隔边界与超平面之间，或者在超平面误分的一侧。
第二篇的第四部分有详细说明
https://blog.csdn.net/csdn_lzw/article/details/79794233

二、SMO

疑问
1.什么叫作违反KKT条件最严重的样本点，不是只有满足和不满足，怎么体现严重