SVM优化问题中的 kkt条件推导

---

SVM

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、SVM问题

$$\begin{array}{l}\min \frac{1}{2}\Vert w{\Vert }^2\\ s.t.y_i(w^T{x}_i+b\ge 1)\end{array}$$

二、Lagrange function

**step 1.**约束罚上去

$$L:(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1))$$

step 2. 分别对w,b求偏导得0
$$\begin{array}{l}{L}_w(w,b,\alpha )=w-\sum {\alpha }_i{y}_i{x}_i=0;\\ L_b(w,b,\alpha )=-\sum {\alpha }_i{y}_i=0;\end{array}$$
由上可得
$$\begin{array}{l}{w}_i=\sum {\alpha }_i{y}_i{x}_i;\\ \sum {\alpha }_i{y}_i=0;\end{array}$$

setp 3 将上面两式代入$L(w,b,\alpha )$得
$$L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)+\sum _{i=1}^n{\alpha }_i;$$

三. 求解如下函数

step 1.
$$\begin{array}{l}{\min }_{\alpha }\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i^T{x}_j)-{\sum }_{i=1}^n{\alpha }_i;\\ s.t.{\sum }_{i=1}^n{\alpha }_i{y}_i=0,\\ \alpha \ge 0,i=1,....,n\end{array}$$
可简化表达如下

$$\begin{array}{l}{\min }_{\alpha }\frac{1}{2}{\alpha }^{T}Q\alpha -\alpha ;\\ s.t.y^T\alpha =0,\\ 0\le \alpha \le C,i=1,....,n\end{array}$$
where (线性)$Q=y_i{y}_j(x_i^T{x}_j)$ ；
（非线性引入核函数）$Q=y_i{y}_{j}kerner{l}_{RBF}<x_i,x_j>$；

step 2. 将约束罚上去得
$$h(\alpha )=\frac{1}{2}{\alpha }^{T}Q\alpha -\alpha -\mu \alpha y-\delta \alpha +\beta (\alpha -C)$$
按分量看
kkt条件

1. h对$\alpha$求导得0
   $h_{\alpha }=Q\alpha -1-{\mu }_i{y}_i-{\delta }_i+{\beta }_i=0$;
   令$g(\alpha ,\mu )=Q\alpha -1-{\mu }_i{y}_i$
   简化表达 $h_{\alpha }=g(\alpha ,\mu )-{\delta }_i+{\beta }_i=0$;
2. 乘子大于等于0
   ${\delta }_i\ge 0$;
   ${\beta }_i\ge 0$;
3. 互补条件（乘子*约束=0，即三种情况1.乘子等于0，2.约束等于0，3.乘子约束同时等于0）
   ${\delta }_i{\alpha }_i=0$;
   ${\beta }_i({\alpha }_i-C)=0$;

case 1. $\alpha =0$ 时
由${\delta }_i{\alpha }_i=0$ 和 $\alpha =0$ ， 可得 ${\delta }_i\ge 0$.
由${\beta }_i({\alpha }_i-C)=0$和$\alpha =0$, 可得${\beta }_i(-C)=0$,又因为C>0, 可得${\beta }_i=0$.
由 $h_{\alpha }=g(\alpha ,\mu )-{\delta }_i+{\beta }_i=0$
有 $h_{\alpha }=g(\alpha ,\mu )-{\delta }_i+0=0$
$g(\alpha ,\mu )={\delta }_i\ge 0$
即当 $\alpha =0$ 时, $g(\alpha ,\mu )\ge 0$.

case 2. $0<\alpha <C$ 时
由${\delta }_i{\alpha }_i=0$ 和 $\alpha \ne 0$， 可得 ${\delta }_i=0$.
由${\beta }_i({\alpha }_i-C)=0$和 $0<\alpha <C$ , 可得$({\alpha }_i-C)\ne 0$,可得${\beta }_i=0$.
由 $h_{\alpha }=g(\alpha ,\mu )-{\delta }_i+{\beta }_i=0$
有 $h_{\alpha }=g(\alpha ,\mu )-0+0=0$
$h_{\alpha }=g(\alpha ,\mu )=0$
即当 $0<\alpha <C$ 时, $g(\alpha ,\mu )=0$.

case 3. $\alpha =C$ 时
由${\delta }_i{\alpha }_i=0$ 和 $\alpha =C$， 可得 ${\delta }_i=0$.
由${\beta }_i({\alpha }_i-C)=0$和$\alpha =0$, 可得$({\alpha }_i-C)=0$, 可得${\beta }_i\ge 0$.
由 $h_{\alpha }=g(\alpha ,\mu )-{\delta }_i+{\beta }_i=0$
有 $h_{\alpha }=g(\alpha ,\mu )-0+{\beta }_i=0$
$g(\alpha ,\mu )=-{\beta }_i\le 0$
即当 $\alpha =C$ 时, $g(\alpha ,\mu )\le 0$.

四.$L(w,b,\alpha )$的KKT 条件如下:

$$\begin{array}{l}\alpha =0,g(\alpha ,\mu )\ge 0\\ 0<\alpha <C,g(\alpha ,\mu )=0\\ \alpha =C,g(\alpha ,\mu )\le 0\end{array}$$

上文中的$g(\alpha ,\mu )$
$$\begin{array}{l}=Q\alpha -1-{\mu }_i{y}_i\\ =y_i{y}_j(x_i^T{x}_j)\alpha -1-y_i{\mu }_i\\ =y_i(y_j(x_i^T{x}_j)\alpha -{\mu }_i)-1\end{array}$$还有的论文中令$f(x_i)=y_j(x_i^T{x}_j)\alpha -\mu$,即$g(\alpha ,\mu )=y_{i}f(x_i)-1$
则有