机器学习笔记-理解支持向量机拉格朗日函数+对偶问题+KKT条件

理解支持向量机拉格朗日函数+对偶问题+KKT条件

  这章内容主要是对支持向量机中拉格朗日函数、对偶问题和KKT条件进行一个说明，虽然我们成功推导出支持向量机的对偶形式，也知道如何进行求解最优参数，但是具体为什么这样做，我们还是不得而知。为此，我觉得需要更加深入了解一下什么是KKT条件、为什么要构造拉格朗日函数，以及对偶问题又是什么？

  在深入了解之前，先分清楚对偶问题、拉格朗日函数、KKT条件，这三个概念其实都不一样，只是在支持向量机中将他们三个都使用了。
  首先来看拉格朗日函数，拉格朗日函数其实是由于引进了拉格朗日乘子而构造出来的。我们如果想搞清楚支持向量机的推导，就必须逐一了解其中的概念，从最开始的原始问题出发：

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,\cdots ,N \end{gathered}$$

  在原始问题中，我们需要求解的是最优的参数$w$和$b$，而原始问题是一个二次规问题，且存在不等式约束条件。针对这样一个优化问题，我们肯定就想找到最好最快的方法来求解此类问题，于是就用到了拉格朗日乘数法。

拉格朗日乘数法

假设有如下的约束最优化问题：
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x)\le 0,i=1,2,\cdots ,k \\ {h}_j(x)=0,j=1,2,\cdots ,l \end{gathered}$$
  称此约束问题为最优化问题的原始最优化问题，或者也叫原始问题，我们需要引进拉格朗日乘子用来构建拉格朗日函数：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
  这就是广义拉格朗日函数，其中${\alpha }_i,{\beta }_j$是拉格朗日乘子，且${\alpha }_i\ge 0$，至于为什么要这样定义，我们的目的就是把有约束问题转换为无约束问题。而上述定义的拉格朗日函数还不能表示原始问题，我们需要对上述的拉格朗日函数求极大值，这里应该是很多人最难以理解的地方，为什么一定要对拉格朗日函数求极大值呢？
首先设原始问题为${\varphi }_p(x)$，那么就有下面的等式成立：
$${\varphi }_p(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
  下面再来看在$\sum _{i=1}^k{\alpha }_i{c}_i(x)$部分中，我们的${\alpha }_i$是乘子，而$c_i(x)\le 0$是约束条件，假设，存在一个解$x_i$是不满足$c_i(x)\le 0$的，这个时候就会出现$c_i(x)>0$的情况，而我们的原始问题是对拉格朗日函数求极大值，此时的极大值就变成了$+\infty$ ，也就是说当有解是不满足约束条件时，我们的原始问题就不成立了，所以该解就不能要。
  同样的对$\sum _{j=1}^l{\beta }_j{h}_j(x)$也是一样，当存在一个解不满足$h_i(x)=0$这个约束条件，那么我们的求极大的结果就仍然是$+\infty$，所以对拉格朗日函数求极大值，其实就是为了保证我们的约束条件是成立的，因为我们要求的是极大值，所以所有$c_i(x)<0$的$i$都会成为我们极大的障碍，所以这些$i$的${\alpha }_i$都是等于0的。其次$h_j(x)$也是如此。这样就可以保证我们找到的解肯定是满足约束条件的解，即必定满足下面的式子：
$${\varphi }_P(x)=\{\begin{array}{l}f(x)x满足原始约束条件\\ +\infty 其他\end{array}$$
到这里已经明白了为什么对拉格朗日函数求极大就等于原始问题了。
  在原始的最优化问题中，我们是求极小值，所以我们要对拉格朗日函数先求极大值再求极小值，就出现了下面的式子：
$$\underset{x}{\min }{\varphi }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
  它是与原始最优化问题是等价的，即求解上述函数的解就是原始问题的解，所以后面求解只需要针对拉格朗日函数来求解。
如果在支持向量机(指线性可分支持向量机)中，与此时对应的部分应该是：
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$

对偶问题

  在将原始问题转换为对拉格朗日函数$L$的先求极大再求极小问题，此时我们只需要关心如何求解这个极小极大问题即可。
此时就需要再引入一个新方法，叫对偶方法，下面来看：
优化问题延续上面定义的拉格朗日函数，接着定义：
$${\varphi }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$
接着再考虑极大化${\varphi }_D(\alpha ,\beta )$，即得到：
$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\varphi }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
我们把上述问题称为拉格朗日函数的极大极小问题。在上面我们给出了一个极小极大问题，这里又定义了一个极大极小问题，很明显，我们后续要证明的内容就是极大极小问题等于极小极大问题。
假设设极小极大问题和极大极小问题的最优值分别为：$p^{\ast }$和$d^{\ast }$。则有：
$$\begin{gathered} d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta ) \\ {p}^{\ast }=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta ) \end{gathered}$$
因为拉格朗日函数的形式是一样的，所以如果我们先对拉格朗日函数求极大再求极小，求解的解肯定要比先对其求极小再求极大要大，即下面的式子恒成立：
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$
我们需要找到上述式子等式成立的情况，因为只有这种情况才是我们需要的。
下面给出定理：

对于对偶问题和原始问题，假设$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$是严格执行的；即存在$x$，对有所的$i$都有$c_i(x)<0$，则存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使得$x^{\ast }$是原始问题的最优解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的最优解，并且：
$$d^{\ast }=p^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$

事实上，在绝大多数情况下，原始问题和对偶问题的最优值相等，这里的相关证明不详细叙述，有兴趣的可以阅读《最优化理论与算法》这本书。

KKT条件

我们已经得出了在支持向量机中下面的式子恒成立：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )=\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
  从最开始的原始问题到先求拉格朗日函数对$\alpha$的极大问题再到拉格朗日函数对$w,b$的极小问题，变换到这一步，我们终于能开心的进行求解了，计算最小值，而且是无不等式和等式约束的最小值，那么直接简单求偏导令其等于0即可，求完偏导之后得到的$w$和$b$的表达式是成立的，带入拉格朗日函数中得到最后支持向量机的对偶形式，此时的对偶形式表达式中应该只包含$\alpha$。再后续就是对对偶形式进行求解，此时要用到SMO算法，假设求解得到的最优解为${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_l^{\ast })$是对偶最优化问题的解，如果存在下标${\alpha }_j^{\ast }>0$这时就可以使用下面的式子求得最原始的最优化问题。在这里我们可能会有一个疑问，为什么对偶问题的解就可以认为是原始问题的最优解呢？这就需要用到KKT条件了。
有定理：

假设有原始问题 $$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x)\le 0,i=1,2,\cdots ,k \\ {h}_j(x)=0,j=1,2,\cdots ,l \end{gathered}$$ 引进拉格朗日乘数和对偶变换后变成如下的对偶问题：
$$\begin{gathered} \underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta ) \\ s.t.{\alpha }_i\ge 0,i=1,2,\cdots ,k \end{gathered}$$
假设对偶问题和原始问题如上所述，其中$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$是严格执行的，则$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题解的充分必要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足下面的KKT条件：
$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\alpha }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,\cdots ,k \\ {c}_i(x^{\ast })\le 0,i=1,2,\cdots ,k \\ {\alpha }_i^{\ast }\ge 0,i=1,2,\cdots ,k \\ {h}_j(x^{\ast })=0,i=1,2,\cdots ,l \end{gathered}$$

这就是KKT条件的内容，根据定理，KKT条件在支持向量机中是显然成立的。于是在支持向量机中对偶问题为：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0i=1,2,\cdots ,N \end{gathered}$$
套用KKT条件得到：

支持向量机的KKT条件
$$\begin{gathered} {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0 \\ {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0 \\ {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)=0,i=1,2\cdots ,N \\ {y}_i(w^{\ast }\cdot x_i+b^{\ast })-1\ge 0,i=1,2\cdots ,N \\ {\alpha }_i^{\ast }\ge 0,i=1,2\cdots ,N \end{gathered}$$

于是可以解出$w^{\ast }$的值：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
并且此时$\alpha$中必定会有至少一个${\alpha }_j>0$，因为如果没有${\alpha }_j$是大于0的，那么所有的${\alpha }_j$都是等于0，导致$w^{\ast }=0$，此时$w^{\ast }$无解，产生矛盾，因此必定有${\alpha }_j>0$成立。接着我们就可以利用这个$j$来求解$b$的值了，我们将$w^{\ast }$的解带入下面的表达式中：
$$y_i(w^{\ast }\cdot x_j+b^{\ast })-1=0$$
再次化简得到：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
这样支持向量机中的$w$和$b$就全部求解出来，并且原始问题和对偶问题也就弄清楚了。

总结

  到这里接触支持向量机已经是第二次了，第一次的时候只能大概看明白支持向量机的工作原理，对其背后的数学思想是非常模糊的，在这次重新学习的过程中，我深入了解到一些支持向量机背后的数学思想，所有的结果背后都有着非常严谨的证明推理，正是这样才让支持向量机在20世纪初成为最热门的机器学习算法之一。