【凸优化】关于 KKT 条件 及其最优性

拉格朗日对偶

对于一个标准形式的优化问题， 我们可以写为：

$$\begin{array}{ll}\mathrm{minimize}& f_0(x)\\ \text{ subject to }& f_i(x)⩽0,i=1,\cdots ,m\\ & h_i(x)=0,i=1,\cdots ,p,\end{array}$$

我们定义其 拉格朗日函数 为：

$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)\text{\hspace{1em}(1)}$$

$L(x,\lambda ,\nu )$ 被称为 Lagrange 函数， 就是在原目标函数上加上了 约束条件的 加权和。 ${\lambda }_i$ 代表 $f_i(x)\le 0$这一约束的拉格朗日乘子。 类似的， $v_i$就是 $h_i(x)=0$的拉格朗日乘子。

进一步地， 在(1)中对$x$取最小， 即：
$$g(\lambda ,\nu )=\underset{x\in \mathcal{D}}{\inf }L(x,\lambda ,\nu )=\underset{x\in \mathcal{D}}{\inf }\left(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)\right)$$
$\inf$代表下界。 函数 $g$ 被称为 拉格朗日对偶函数。

注意到 $g(\lambda ,\nu )$可被视作 一簇关于 $\lambda$ 和 $\nu$ 的 仿射函数 （不同的$x$对应具体不同的仿射函数） 的 逐点下确界。 因此，$g(\lambda ,\nu )$ 必定是一个凹函数（详细证明略）。

拉格朗日函数的核心意义在于， 给出了最优解的一个下界：

当 $\lambda ⪰0$ 时， 将有：
$$g(\lambda ,\nu )⩽p^{\star }.$$
这是因为， 对于任意一个原问题的可行点 $\tilde{\mathbf{x}}$, 必有：
$$\sum _{i=1}^m{\lambda }_i{f}_i(\tilde{x})+\sum _{i=1}^p{\nu }_i{h}_i(\tilde{x})⩽0$$
那么：
$$L(\tilde{x},\lambda ,\nu )=f_0(\tilde{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\tilde{x})+\sum _{i=1}^p{\nu }_i{h}_i(\tilde{x})⩽f_0(\tilde{x})$$
而根据$g$的定义， 他是$L$函数关于$x$求得的最小值， 因此必定有：
$$g(\lambda ,\nu )=\underset{x\in \mathcal{D}}{\inf }L(x,\lambda ,\nu )⩽L(\tilde{x},\lambda ,\nu )⩽f_0(\tilde{x})$$
也就是说， 对于任意可行点 $\tilde{\mathbf{x}}$都成立， 那么最优点显然也是可行点之一， 因此就有
$$g(\lambda ,\nu )⩽p^{\star }.$$

KKT条件

首先， 我们先直接给出 KKT 条件， 为：

$$\begin{array}{rl}& f_i\left(x^{\star }\right)⩽0,i=1,\cdots ,m\\ & h_i\left(x^{\star }\right)=0,i=1,\cdots ,p\\ & {\lambda }_i^{\star }⩾0,i=1,\cdots ,m\\ & {\lambda }_i^{\star }{f}_i\left(x^{\star }\right)=0,i=1,\cdots ,m\\ & \nabla f_0\left(x^{\star }\right)+\sum _{i=1}^m{\lambda }_i^{\star }\nabla f_i\left(x^{\star }\right)+\sum _{i=1}^p{\nu }_i^{\star }\nabla h_i\left(x^{\star }\right)=0,\end{array}$$
满足上述条件的点 $x^{\star }$就是KKT条件给出的解。

接下来， 我们分析 KKT 条件的意义。 即， 这个 $x^{\star }$ 到底是什么？

首先， 假设原问题就是一个凸问题。 也就是说， $f_0(x)$是一个凸函数。 此时， $x^{\star }$就是原问题的最优解。

我们接下来进行相应的证明。

假设 $\tilde{x},\tilde{\lambda },\tilde{\nu }$ 是满足KKT条件的点。

由于 $f_0(x)$ 是 凸函数， 而 $\lambda ⪰0$, 因此 $L(x,\tilde{\lambda },\tilde{\nu })$ 是 $x$的凸函数。 因为 $f_i(x)$是凸函数（因为假设原问题是凸问题）， 而凸函数加凸函数仍是一个凸函数。

因此， 最后一个条件即梯度为0代表了 $\tilde{x}$ 为 $L$的最小点。 因此，有：
$$\begin{array}{rl}g(\tilde{\lambda },\tilde{\nu })& =L(\tilde{x},\tilde{\lambda },\tilde{\nu })\\ & =f_0(\tilde{x})+\sum _{i=1}^m{\tilde{\lambda }}_i{f}_i(\tilde{x})+\sum _{i=1}^p{\tilde{\nu }}_i{h}_i(\tilde{x})\\ & =f_0(\tilde{x})\end{array}$$
第一个等式来自于$g$的定义： $L$关于 $x$的下界。 最后一个等式成立是因为KKT条件中的
$${\lambda }_i^{\star }{f}_i\left(x^{\star }\right)=0,i=1,\cdots ,m$$

注意到， 也就是说： $g(\tilde{\lambda },\tilde{\nu })=f_0(\tilde{x})$,
而我们上面证明过：
$$g(\lambda ,\nu )⩽p^{\star }.$$
因此， $f_0(\tilde{x})⩽p^{\star }$。 而 $p^{\star }$的定义就是$f_0(x)$的最小值。 因此 $f_0(\tilde{x})\ge p^{\star }$。
所以， 有： $f_0(\tilde{x})=p^{\star }$。
即： $\tilde{x}$ 就是 $f_0(x)$的最优解。

总结一下，结论就是： 当原问题是凸问题时， 满足KKT条件的解， 就是原问题的解。

但如果原问题不是凸问题的时候呢？
此时 $g(\tilde{\lambda },\tilde{\nu })=L(\tilde{x},\tilde{\lambda },\tilde{\nu })$这一步就不一定成立了， 因为导数为0不代表就是最小值。
但是，如果我们已知强对偶性成立， 即 $g(\tilde{\lambda },\tilde{\nu })=p^{\star }$时，有：
$$\begin{array}{rl}{f}_0\left(x^{\star }\right)& =g\left({\lambda }^{\star },{\nu }^{\star }\right)\\ & =\underset{x}{\inf }\left(f_0(x)+\sum _{i=1}^m{\lambda }_i^{\star }{f}_i(x)+\sum _{i=1}^p{\nu }_i^{\star }{h}_i(x)\right)\\ & ⩽f_0\left(x^{\star }\right)+\sum _{i=1}^m{\lambda }_i^{\star }{f}_i\left(x^{\star }\right)+\sum _{i=1}^p{\nu }_i^{\star }{h}_i\left(x^{\star }\right)\\ & ⩽f_0\left(x^{\star }\right)\end{array}$$
由此可见， 两个不等式必须要取等号。 因为 $f_0\left(x^{\star }\right)=f_0\left(x^{\star }\right)$。 第一个不等号要想成立， 那么必须满足KKT条件的最后一个条件：即对 $x^{\star }$的导数为0. 而第二个等号要想成立， 就必须满足KKT的最后第二个条件。

因此， 此时KKT条件时最优解的必要条件 （但不一定充分）。