【方便自己使用】KKT条件

参考资料：
《机器学习公式详解》（南瓜书）
《最优化基础理论与方法》王燕军
（主要是这个版本的KKT条件写法最方便我使用，担心下次用的时候手头没这本书，就先简单记录一下，方便后续使用）

一般约束优化问题：
min$f(\text{x})$
s.t.$g_i(\text{x})\le 0$
$h_j(\text{x})=0$
其中，自变量$\text{x}\in R^n$。设$f(\text{x})$，$g_i(\text{x})$，$h_j(\text{x})$具有连续的一阶偏导数，${\text{x}}^{\ast }$是优化问题的局部可行解。若该优化问题满足任意一个约束限制条件，则一定存在${\mu }^{\ast }=({\mu }_1^{\ast };{\mu }_2^{\ast },...,{\mu }_m^{\ast })$，${\lambda }^{\ast }=({\lambda }_1^{\ast };{\lambda }_2^{\ast };...;{\lambda }_n^{\ast })$，使得：
(1)${▽}_{x}L(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast })=▽f({\text{x}}^{\ast })+{\sum }_{i=1}^m{\mu }_i^{\ast }▽g_i({\text{x}}^{\ast })+{\sum }_{j=1}^n{\lambda }_j^{\ast }▽h_j({\text{x}}^{\ast })=0$
(2)$h_j({\text{x}}^{\ast })=0$
(3)$g_i({\text{x}}^{\ast })\le 0$
(4)${\mu }_i^{\ast }\ge 0$
(5)${\mu }_i^{\ast }{g}_i({\text{x}}^{\ast })=0$
其中，$L(x,\mu ,\lambda )$是拉格朗日函数
$L(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast })=f(\text{x})+{\sum }_{i=1}^m{\mu }_i{g}_i(\text{x})+{\sum }_{j=1}^n{\lambda }_j{h}_j(\text{x})$