拉格朗日 & KKT条件

有什么用

拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。（前提：只有当目标函数为凸函数时，使用这两种方法才保证求得的是最优解。）

拉格朗日乘子法

如上所述，拉格朗日乘子法可以将等式约束优化问题转换为无约束优化问题，即将问题：

$$\begin{align} & \min f(x) \\ & s.t. \ h_i(x)=0, \ i=1,2,...n \end{align}$$

转化为：

$$\min f(x)+\sum_{i=1}^n \lambda _i h_i(x) \\ $$
其中， $\lambda_i \neq 0$，称为拉格朗日乘子。（关于为什么成立可以参考维基百科，或者 这篇博文，更形象的理解可以参考 知乎的说明。）

KKT条件

当遇到不等式约束的时候怎么办呢？这个时候就需要用到KKT条件，KKT条件是拉格朗日乘子法的泛化，使其可扩展到了不等式约束的优化问题的求解。他就是将问题：

$$\begin{align} & \min f(x) \\ & s.t. \ g_k(x) \leqslant 0, \ k=1,2,...q \end{align}$$
转化为一个极大极小问题：
$$L(x,u) = f(x) + \sum_{k=1} ^q u_k g_k(x) , \ u_k \geqslant 0 \\ \max _u \min _x L(x,u)$$
不明白为什么？没关系，下面先看两个证明（两个方向），

1、证明 $\min _x f(x)=\min _x \max _u L(x,u)$

因为，

$$\left.\begin{matrix} u_k\geqslant 0\\ g_k(x)\leqslant 0 \end{matrix}\right\} \rightarrow ug(x) \leqslant 0$$
所以，
$$\max _u L(x,u) =f(x)$$
于是，
$$\min _x f(x)=\min _x \max _u L(x,u)$$
2、证明 $\min _x f(x)= \max _u \min _x L(x,u)$

$$\begin{align} \max _u \min _x L(x,u) & =\max_u [ \min_xf(x)+\min_xug(x) ] \\ & = \max_u \min_xf(x) +\max_u \min_xug(x) \\ & = \min_xf(x) + \max_u \min_xug(x) \end{align}$$
上述式子中， $\max_u \min_xf(x)$因为 $f(x)$与 $u$无关，所以$\max_u \min_xf(x) = \min_xf(x)$。我们着重考察下后面个式子，因为

$$\left.\begin{matrix} u_k\geqslant 0\\ g_k(x)\leqslant 0 \end{matrix}\right\} \rightarrow \min_xug(x) = \left\{\begin{matrix} 0, u=0 或 g(x)=0 \\ -\infty , u>0\ 且\ g(x)<0 \end{matrix}\right.$$
所以，
$$\max_u \min_xug(x)=0,此时有u=0 或 g(x)=0$$
也就是说，
$$\begin{align} \max _u \min _x L(x,u) & =\max_u [ \min_xf(x)+\min_xug(x) ] \\ & = \max_u \min_xf(x) +\max_u \min_xug(x) \\ & = \min_xf(x) + \max_u \min_xug(x) \\ & = \min_xf(x) \end{align}$$
上面两个证明，什么意思呢？也就是原始问题（不等式约束）转化为了两个等价的问题（无约束）：

$$\begin{align} \min_xf(x) & = \min _x \max _u L(x,u) \\ & = \max _u \min _x L(x,u) \end{align}$$
我们将 $\max _u \min _x L(x,u)$称为原问题 $\min _x \max _u L(x,u)$的对偶问题。

有了KKT条件我们的原始问题如下求得

$$\left.\begin{matrix} \begin{align} L(x,u) = f(x) +\sum_{k=1}^qu_kg_k(x) \\ u_k\geqslant 0\\ g_k(x)\leqslant 0 \end{align} \end{matrix}\right\} \rightarrow \\ \left\{\begin{matrix} \min_xf(x) & = \min _x \max _u L(x,u) \\ & = \max _u \min _x L(x,u) \\ u_kg_k(x^*)=0 \\ \frac {\partial L(x,u)}{\partial x}|_{x=x^*}=0 \end{matrix}\right.$$

同时，KKT条件是拉格朗日乘子法的泛化，如果我们把等式约束和不等式约束一并纳入进来则表现为：

参考

拉格朗日乘子法和KKT条件