什么是KKT条件

尊重原创：知乎：什么是KKT条件

什么是KKT条件：

对于具有等式和不等式约束的一般优化问题
$$\{\begin{array}{ll}minf(x)，& 最值问题\\ s.t.g_j(x)\le 0(j=1,2,3,...,m)& 不等式约束\\ h_k(x)=0(k=1,2,...,l)& 等式约束\end{array}$$
KKT条件给出了判断x*是否为最优解的必要条件，即：
$$\{\begin{array}{l}\frac{\partial f}{\partial x_i}+{\sum }_{j=1}^m{\mu }_j\frac{\partial g_j}{\partial x_i}+{\sum }_{k=1}^l{\lambda }_k\frac{\partial h_k}{\partial x_i}=0,(i=1,2,...,n)\\ h_k(x)=0,(k=1,2,...,l)\\ {\mu }_j{g}_j(x)=0,(j=1,2,...,m)\\ {\mu }_j\ge 0\end{array}$$
1、等式约束优化问题，这一部分其实就是Lagrange乘数法。
2、不等式约束优化问题
转化思想：将不等式约束条件转化为等式约束条件。
具体做法：引入松弛变量，松弛变量也是优化变量，求偏导也需要一视同仁。

实战

$$\{\begin{array}{ll}minf(x)，& 最值问题\\ s.t.g_j(x)\le 0(j=1,2,3,...,m)& 不等式约束\\ h_k(x)=0(k=1,2,...,l)& 等式约束\end{array}$$
对于约束$g_1$和$g_2$，我们分别引入两个松弛变量$a_1^2$和$b_1^2$，得到$h_1(x,a_1)=g_1+a_1^2=0$和$h_2(x,b_1)=g_2+b_1^2=0$。
为啥定义平方为松弛变量？
因为$g_1$和$g_2$这两个不等式的左边必须加上一个正数才能使不等式变为等式。如果只加上$a_1$和$b_1$，又会引入新的约束$a_1\ge 0$和$b_1\ge 0$。
所以不等式转为了等式约束：

由此我们将不等式约束转化为了等式约束，并得到Lagrange函数。
$L(x,a_1,b_1,{\mu }_1,{\mu }_2)=f(x)+{\mu }_1(a-x+a_1^2)+{\mu }_2(b-x+b_1^2)$
然后就是最其按照Lagrange乘数法进行求解。
OK，KKT条件告一段落，但是还有一部分求解未展开。
以后再提。

KKT对偶条件