KKT条件

1： 等式约束优化问题

给定一个目标函数 $f:{\mathbb{R}}^n\to \mathbb{R}$，我们希望找到 $\textrm{x}\in\Reals^n，在满足约束条件 $g(\text{x})=0$ 的前提下，使得$f(\text{x})$有最小值。这个约束优化问题记为
$$\begin{array}{rl}\min & f(\text{x})\\ s.t.& g(\text{x})=0\end{array}$$
为方便分析，假设 $f$ 与 $g$ 是连续可导函数。Lagrange乘数法是等式约束优化问题的典型解法。定义Lagrangian函数
$$L(\text{x},\lambda )=f(\text{x})+\lambda g(\text{x})$$
计算 $L$ 对 $\text{x}$ 与 $\lambda$ 的偏导数并设为零，可得最优解的必要条件：
$$\begin{array}{rl}{▽}_{\text{x}}L& =\frac{\partial L}{\partial \text{x}}=▽f+\lambda ▽g=0\\ {▽}_{\lambda }L& =\frac{\partial L}{\partial \lambda }=g(\text{x})=0\end{array}$$
其中第一式为定常方程式(stationary equation)，第二式为约束条件。解开上面 $n+1$ 个方程式可得 $L(\text{x},\lambda )$ 的stationary point ${\text{x}}^{\ast }$ 以及 $\lambda$ 的值(正负数皆可能)。

---

2： 不等式约束优化问题

接下来我们将约束等式 $g(\text{x})=0$ 推广为不等式 $g(\text{x})\le 0$。考虑这个问题
$$\begin{array}{rl}\min & f(\text{x})\\ s.t.& g(\text{x})\le 0\end{array}$$
约束不等式 $g(\text{x})\le 0$ 称为原始可行性(primal feasibility)，据此我们定义可行域(feasible region) K = { x ∈ R n ∣ g ( x ) ≤ 0 } K=\{\textrm{x}\in\Reals^n|g(\textrm{x})\le0\} K={x∈Rn∣g(x)≤0}。假设 ${\text{x}}^{\ast }$ 为满足约束条件的最佳解，分开两种情况讨论：

1. $g({\text{x}}^{\ast })<0$，最佳解位于 $K$ 的内部，称为内部解(interior solution)，这时约束条件是无效的(inactive)；
2. $g({\text{x}}^{\ast })=0$ ，最佳解落在 $K$ 的边界，称为边界解(boundary solution)，此时约束条件是有效的(active)。

这两种情况的最佳解具有不同的必要条件。

(1)内部解：在约束条件无效的情形下，$g(\text{x})$ 不起作用，约束优化问题退化为无约束优化问题，因此驻点 ${\text{x}}^{\ast }$ 满足 $▽f=0$ 且 $\lambda =0$。

(2)边界解：在约束条件有效的情形下，约束不等式变成等式 $g(\text{x})=0$ ，这与前述Lagrange乘数法的情况相同。我们可以证明驻点 ${\text{x}}^{\ast }$ 发生于 $▽f\in span▽g$ ，换句话说，存在 $\lambda$ 使得 $▽f=-\lambda ▽g$，但这里 $\lambda$ 的正负号是有其意义的。因为我们希望最小化 $f$ ，梯度 $▽f$ (函数 $f$ 在点 $\text{x}$ 的最陡上升方向)应该指向可行域 $K$ 的内部(因为你的最优解最小值是在边界取得的)，但 $▽g$ 指向 $K$ 的外部(即 $g(\text{x})>0$ 的区域，因为你的约束是小于等于0)，因此 $\lambda \ge 0$ ，称为对偶可行性(dual feasibility)。

因此，不论是内部解或边界解， $\lambda g(\text{x})=0$ 恒成立，称为互补松弛性(complementary slackness)。整合上述两种情况，最佳解的必要条件包括Lagrangian函数 $L(\text{x},\lambda )$ 的定常方程式、原始可行性、对偶可行性，以及互补松弛性：
$$\begin{array}{rl}{▽}_{\text{x}}L& =▽f+\lambda ▽g=0\\ g(\text{x})& \le 0\\ \lambda & \ge 0\\ \lambda g(\text{x})& =0\end{array}$$
这些条件合称为Karush-Kuhn-Tucker (KKT)条件。如果我们要最大化 $f(\textrm{x}) 且受限于 $g(\text{x})\le 0$，那么对偶可行性要改成 $\lambda \le 0$。

上面结果可推广至多个约束等式与约束不等式的情况。考虑标准约束优化问题(或称非线性规划)：
$$\begin{array}{rl}\min f(\text{x})& \\ s.t.g_j(\text{x})& =0,j=1,...,m\\ h_k(\text{x})& \le 0,k=1,...,p\end{array}$$
定义Lagrangian 函数
$$L(\text{x},{\lambda }_j,{\mu }_k=f(\text{x})+\sum _{j=1}^m{\lambda }_j{g}_j(\text{x})+\sum _{k=1}^p{\mu }_k{h}_k(\text{x})$$
其中 ${\lambda }_j$ 是对应 $g_j(\text{x})=0$ 的Lagrange乘数，${\mu }_k$ 是对应 $h_k(\text{x})$ Lagrange乘数(或称KKT乘数)。KKT条件包括
$$\begin{array}{rl}{▽}_{\text{x}}& =0\\ g_j(\text{x})& =0,j=1,...,m\\ h_k(\text{x})& \le 0\\ {\mu }_k& \ge 0\\ {\mu }_k{h}_k(\text{x})& =0,k=1,...,p\end{array}$$

---

3： 一个例子

考虑这个问题

$$\begin{array}{rl}\min & x_1^2+x_2^2\\ s.t.& x_1+x_2=1\\ & x_2\le \alpha \end{array}$$
其中 $(x_1,x_2)\in {\mathbb{R}}^2$，$\alpha$ 为实数。写出Lagrangigan函数
$$L(x_1,x_2,\lambda ,\mu )=x_1^2+x_2^2+\lambda (1-x_1-x_2)+\mu (x_2-\alpha )$$
KKT 方程组如下：
$$\begin{array}{rl}\frac{\partial L}{\partial x_i}& =0,i=1,2\\ x_1+x_2& =1\\ x_2-\alpha & \le 0\\ \mu & \ge 0\\ \mu (x_2-\alpha )& =0\end{array}$$
求偏导可得 $\frac{\partial L}{\partial x_1}=2x_1-\lambda =0$ 且 $\frac{\partial L}{\partial x_2}=2x_2-\lambda +\mu =0$，分别解出 $x_1=\frac{\lambda }{2}$ 且 $x_2=\frac{\lambda }{2}-\frac{\mu }{2}$。代入约束等式 $x_1+x_2=\lambda -\frac{\mu }{2}=1$ 或 $\lambda =\frac{\mu }{2}+1$。合并上面结果，
$$x_1=\frac{\mu }{4}+\frac{1}{2},x_2=-\frac{\mu }{4}+\frac{1}{2}$$
最后再加入约束不等式 $-\frac{\mu }{4}+\frac{1}{2}\le \alpha$ 或 $\mu \ge 2-4\alpha$。底下分开三种情况讨论。
（1）$\alpha \ge \frac{1}{2}$：不难验证 $\mu =0\ge 2-4\alpha$ 满足所有的KKT条件，约束不等式是无效的，$x_1^{\ast }=x_2^{\ast }=\frac{1}{2}$ 是内部解，目标函数的极小值是 $\frac{1}{2}$。
（2）$\alpha <\frac{1}{2}$：这时约束不等式是有效的，$\mu =2-4\alpha >0$，则 $x_1^{\ast }=1-\alpha$ 且 $x_2^{\ast }=\alpha$，目标函数的极小值是 $(1-\alpha {)}^2+{\alpha }^2$。