由SVM中的拉格朗日乘子法与KKT条件到最优化问题

  前言：在学习支持向量机SVM时，要对SVM模型求最优解，需要用到拉格朗日乘子法和KKT条件。因此本文目的在于系统地梳理求“如何求最优解”，侧重介绍以上提到的两个概念。新手一个，叙述有纰漏的地方恳请指出。
  最优化问题这里指给定某一函数，求其在指定定义域内的全局最小值。
  一般来说，最优化问题由简单到复杂可以分为以下三类：

(1)无约束条件

  这是最简单的情况，通常是对变量求导，令导数为0的点是极值点，因而有可能是最值点。如求$f(x)=x^{2},x\epsilon R$的最小值。

$$\frac{\partial f}{\partial x}=0\rightarrow 2x=0\rightarrow x=0\rightarrow 极小值与最小值f(0)=0$$

(2)约束条件为等式

  目标函数是$f(x)$，约束条件有k个等式，如下：

$$\left\{\begin{matrix}minf(x)\\ s.t. h_{i}(x)=0,i=1,2,...,k\end{matrix}\right.$$   我们用 拉格朗日乘子法，先构造拉格朗日函数 $L$ $$L(x,\lambda _{1},...,\lambda _{k})=f(x)+\sum_{i=1}^{k}\lambda _{i}h_{i}(x)$$ $$因为 \sum_{i=1}^{k}\lambda _{i}h_{i}(x)=0 \rightarrow L(x,\lambda _{1},...,\lambda _{k})=f(x)$$   对所有变量求导 $$\frac{\partial L}{\partial x}=0,\frac{\partial L}{\partial \lambda _{1}}=0,...,\frac{\partial L}{\partial \lambda _{k}}=0$$
  求出的解代入原方程，就有可能得到 $L$的极值，也就是$f$的极值。

(3)约束条件为不等式

  假设我们的目标函数和约束条件如下所示：

$$\left\{\begin{matrix}minf(x)\\ s.t. h_{i}(x)=0,i=1,2,...,k\\ s.t. g_{j}(x)\leq 0,j=1,2,...,m\end{matrix}\right.$$   我们照样用 拉格朗日乘子法，这次我们希望构造一个函数 $L$,$L\leq f$，当 $L$取得最大值时，$f$便取得最小值，同时 $L$应该包含所有的约束条件，如下所示： $$L(x,\lambda _{1},...,\lambda _{k},\mu _{1},...,\mu _{m} )=f(x)+\sum_{i=1}^{k}\lambda _{i}h_{i}(x)+\sum_{j=1}^{m}\mu _{j}g_{j}(x)$$ 其中 $\mu _{j}\geq 0,(j=1,2,...,m)$，因为要保证 $L\leq f$。 $L$的第二项为0，第三项中$g_{j}(x)\leq 0$，因此 $\mu _{j}\geq 0$，才能保证第三项最大值是0，从而 $L\leq f$。
  假设 $x^{*}$是 $L$的最优解，则其应满足以下条件：
$$\left\{\begin{matrix}1)s.t. h_{i}(x^{*})=0,i=1,2,...,k\\ 2)s.t. g_{j}(x^{*})\leq 0,j=1,2,...,m \\ 3)\mu _{j}\geq 0,(j=1,2,...,m)\\4)\mu _{j}g_{j}(x^{*})=0,(j=1,2,...,m)\\5)\frac{\partial F}{\partial x}|_{x=x^{*}}=0\end{matrix}\right.$$ 以上条件合称为 KKT条件。 其中，1),2),3)是原约束条件；4)是因为要求 $f$的最小值，则$L$必取得最大值，此时 $L$的第三项必取得最大值0，而此时第三项的每一分项$\mu _{j}g_{j}(x)$都为0；5)拉格朗日函数取极值的必要条件。

参考：
1.https://blog.csdn.net/johnnyconstantine/article/details/46335763 KKT条件介绍
2.https://blog.csdn.net/xianlingmao/article/details/7919597 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件