KKT条件总结

1. 等式约束的最优性条件

问题：$$(fh)\{\begin{array}{ll}\min & f(x)\\ s.t& h(x)=0\end{array}$$其中f,h为矩阵形式。
KT条件（必要条件）如果$x^{\ast }$为最优解，则存在：
$$\nabla f\left(x^{\ast }\right)+\frac{\partial h^{\prime }\left(x^{\ast }\right)}{\partial x}{v}^{\ast }=0$$$$h\left(x^{\ast }\right)=0$$注：1. f在该点上的梯度=h在该点上梯度的线性组合。几何意义：f在该点上的梯度与h在该点上梯度的线性组合共线。
2. 拉格朗日乘子的意义：拉格朗日乘子表示f对各约束分量扰动的敏感程度。

2. 一般约束问题的KKT条件

问题：$$(fgh)\{\begin{array}{cc}\min & f(x)\\ s,t& g(x)\le 0\\ & h(x)=0\end{array}$$KKT条件（必要条件）：如果$x^{\ast }$为最优解，则存在：
$$\nabla f\left(x^{\ast }\right)+\frac{\partial g\left(x^{\ast }\right)}{\partial x}u+\frac{\partial h\left(x^{\ast }\right)}{\partial x}v=0$$$$u⩾0,u\in {\mathbf{R}}^m,v\in {\mathbf{R}}^l$$$$u^{\mathrm{T}}g\left(x^{\ast }\right)=0$$对于凸优化来说，KKT条件为充分必要条件，而对于非凸优化来说，KKT条件为必要条件。
注：1. 几何意义：f在该最优点上的负梯度为g,h在该点上梯度的线性组合。
2. 在该最优点上，不等式约束函数g(x)的梯度方向必须与f的梯度方向在g(x)=0的不同侧（否则该点就不是最优点），即g(x)的梯度方向与f的负梯度方向在g(x)=0的同一侧，因此式中有u>=0。对于等式约束来说g的梯度方向可以在g(x)=0的任意一侧，只要保证f的梯度和g的梯度的线性组合共线就行，因此对v的正负性没有要求。