KKT条件的理解

KKT条件相对应的是拉格朗日条件
KKT对应是unequality constraint；拉格朗日乘子对应的是Equality constraint。
Eg：
Minimize：$f(x_1,x_2)=x_{1}2+x_2^2-14x_1-6x_2$
st. $g_1(x_1,x_2) = x_1 + x_2 - 2 <= 0 $
$g_2(x_1,x_2)=x_1+2x_2-3<=0$
Solution:
$L(x_1,x_2,{\lambda }_1,{\lambda }_2)=x_{1}2+x_2^2-14x_1-6x_2+{\lambda }_1(x_1+x_2-2)+{\lambda }_2(x_1+2x_2-3)$
对于上述的求导过程：假设$g_1和g_2$都是active的
$L_{x_1}=2x_1-14+{\lambda }_1+{\lambda }_2=0$
$L_{x_2}=2x_2-6+{\lambda }_1+2{\lambda }_2=0$
$L_{{\lambda }_1}=x_1+x_2-2=0$
$L_{{\lambda }_2}=x_1+2x_2-3=0$
因此，我们需要将每一个未知变量求解出来：
即$x_1,x_2,{\lambda }_1,{\lambda }_2$，根据上面的4个等式，我们得到的结果是：
$\left[\begin{array}{cccc}2& 0& 1& 1\\ 0& 2& 1& 2\\ 1& 1& 0& 0\\ 1& 2& 0& 0\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ {\lambda }_1\\ {\lambda }_2\end{array}\right]=\left[\begin{array}{c}14\\ 6\\ 2\\ 3\end{array}\right]$
这个是一个具有唯一解的矩阵，对应的解为：
$x_1=1,x_2=1,{\lambda }_1=20,{\lambda }_2=-8$，但是这里，不符合KKT的应用条件，因为在这里，$\lambda_1 > 0 $ 但是$\lambda_2 < 0 $，这个是不满足KKT条件的，因此，在这里，我们对于$\lambda_1和\lambda_2$对于两个不等式约束，因此采用不同的激活的方法，首先需要满足st的条件，再判断$\lambda_i$的参数是否是 >0的。从而得到最优解。

KKT条件定理：
$L(x,\alpha ,\beta )=f(x)+\sum a_i{g}_i(x)+\sum {\beta }_i{h}_i(x)$，在这中间，g 是不等式约束，h 是等式约束。KKT所满足的条件，一定满足最优解下面的几个因素。
st.
(1)：L对于每一个x求导的结果为0
(2)：h(x) = 0
(3)：$\sum a_i{g}_i(x)=0a_i\ge 0$
我对于第3个式子的理解如下，首先是我们需要满足 $g_i(x)\le 0$ 的这个条件，也就是说，某一次的g(x)在为最优解的时候起作用，那么这次的系数的值可以不为0。如果这个系数没有起作用，那么这个系数必须为0。
这样的理解，会引起一个问题，当$\sum a_i{g}_i(x)=0$中，不等式的数量很多，这样就会有很多的不等式约束的组合。因此，我们换一个角度理解，我们两两进行谈论不就可以了，为什么采用两个进行分析，因为两个，就只有一种情况，就是你增我减，如果存在的变量的数太多，那样就不知道到底如何调节哪一部分进行调整。
这个在之后的SMO算法实现SVM中就有使用。