KKT的来源与推导

KKT条件的细致推导

KKT条件是非线性规划最佳解的必要条件，KKT条件将拉格朗日乘数法所处理的等式约束优化问题推广到不等式。

等式约束优化问题

给定一个目标函数$f:R^n\to R$，我们希望找到$x\in R^n$，在满足约束条件$g(x)=0$的前提下，使得f(x)有最小值，这个约束优化问题记为：
$$\begin{array}{rl}& \min f(x)\\ & s.t.g(x)=0\end{array}$$

为了方便分析，假设f和g是连续可导函数，拉格朗日乘数法是等式约束优化问题的典型解法，定义拉格朗日函数：
$$L(x,\lambda )=f(x)+\lambda g(x)$$
其中$\lambda$称为拉格朗日乘数，拉格朗日乘数法将原本的约束优化问题转换成等价的无约束优化问题。
$$\underset{x,\lambda }{\min }L(x,\lambda )$$
计算L对$x$与$\lambda$的偏导数并设为零，就可以得到最优解的必要条件：
$$\begin{array}{rl}& {\nabla }_{x}L=\frac{\partial L}{\partial x}=\nabla f+\lambda {\nabla }_g=0\\ & {\nabla }_{\lambda }L=\frac{\partial L}{\partial \lambda }=g(x)=0\end{array}$$
其中第一个为定常方程式(stationary equation)，第二个为约束条件。解开上面的n+1个方程式就可以得到$L(x,\lambda )$的stationary point $x^{\ast }$，以及$\lambda$的值（正负皆有可能）

不等式约束优化问题

接下来我们将约束等式$g(x)=0$推广到不等式$g(x)\le 0$考虑这个问题：
$$\begin{array}{rl}& \min f(x)\\ & s.t.g(x)\le 0\end{array}$$
约束不等式$g(x)\le 0$称为原始可行性，据此，我们定义可行域$K=x\in$