凸优化学习-（二十一）KKT条件

凸优化学习

KKT条件是核心，我会在这一节里面讲清楚KKT的推导以及它的性质。

学习笔记

一、KKT条件的推导

对于一个普通优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ (\text{P})\text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
拉格朗日函数($\text{lagrangian function}$)：
$$l(x,\lambda ,v)=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{v}_i{h}_i(x)$$
由拉格朗日函数构造的对偶函数($\text{dual function}$)：
$$g(\lambda ,v)=\underset{x\in D}{\inf }l(x,\lambda ,v)$$
其对偶问题为：
$$\begin{array}{rlrl}\max & & g(\lambda ,v)& \\ (\text{D})\text{s.t.}& & \lambda \ge 0& \end{array}$$

我们做出两个假设：

1. $p^{\ast }=d^{\ast }$
2. 所有函数可微。

那么，对于最优解$x^{\ast },{\lambda }^{\ast },v^{\ast }$，必有：
$$\begin{array}{rl}{f}_i(x^{\ast })& \le 0i=1,\cdots ,m\\ h_i(x^{\ast })& =0i=1,\cdots ,p\\ {\lambda }^{\ast }& \ge 0\end{array}$$

对于假设1，我们做如下推导：
p ∗ = d ∗ ⇔ f 0 ( x ∗ ) = g ( λ ∗ , v ∗ ) = inf ⁡ x { f 0 ( x ) + ∑ i = 1 m λ i ∗ f i ( x ) + ∑ i = 1 p v i ∗ h i ( x ) } ≤ f 0 ( x ∗ ) + ∑ i = 1 m λ i ∗ f i ( x ∗ ) + ∑ i = 1 p v i ∗ h i ( x ∗ ) ≤ f 0 ( x ∗ ) \begin{aligned} &&p^*&=d^*\\ \Leftrightarrow&&f_0(x^*)&=g(\lambda^*,v^*)\\ &&&=\inf_x\lbrace f_0(x)+\sum^m_{i=1}\lambda_i^*f_i(x)+\sum_{i=1}^pv_i^*h_i(x)\rbrace\\ &&&\le f_0(x^*)+\sum^m_{i=1}\lambda_i^*f_i(x^*)+\sum_{i=1}^pv_i^*h_i(x^*)\\ &&&\le f_0(x^*) \end{aligned} ⇔​​p∗f0​(x∗)​=d∗=g(λ∗,v∗)=xinf​{f0​(x)+i=1∑m​λi∗​fi​(x)+i=1∑p​vi∗​hi​(x)}≤f0​(x∗)+i=1∑m​λi∗​fi​(x∗)+i=1∑p​vi∗​hi​(x∗)≤f0​(x∗)​
对一个式子求最小下界一定小于等于任意带一个可行解。

我们对得到的结果进行分析，发现不等式左边和右边是相等的，那么，也就意味着，所有的不等号可以改为等号。

我们得到如下式子：
$$\begin{array}{rlrl}& & \sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x^{\ast })& =0\\ \iff & & {\lambda }_i^{\ast }{f}_i(x^{\ast })& =0,i=1,\cdots ,m\end{array}$$

分析得到KKT条件中的互补松弛条件（Complementary slackness）：

1. ${\lambda }^{\ast }>0\Rightarrow f_i(x^{\ast })=0$
2. $f_I(x^{\ast })<0\Rightarrow {\lambda }_i^{\ast }=0$

同时，也可以得到：
inf ⁡ x { f 0 ( x ) + ∑ i = 1 m λ i ∗ f i ( x ) + ∑ i = 1 p v i ∗ h i ( x ) } = f 0 ( x ∗ ) ⇔ inf ⁡ x l ( x , λ ∗ , v ∗ ) = f 0 ( x ∗ ) ⇔ ∂ l ( x , λ ∗ , v ∗ ) ∂ x ∣ x = x ∗ = 0 \begin{aligned} &&\inf_x\lbrace f_0(x)+\sum^m_{i=1}\lambda_i^*f_i(x)+\sum_{i=1}^pv_i^*h_i(x)\rbrace&=f_0(x^*)\\ \Leftrightarrow&&\inf_xl(x,\lambda^*,v^*)&=f_0(x^*)\\ \Leftrightarrow&&\frac{\partial l(x,\lambda^*,v^*)}{\partial x}\bigg|_{x=x^*}&=0 \end{aligned} ⇔⇔​​xinf​{f0​(x)+i=1∑m​λi∗​fi​(x)+i=1∑p​vi∗​hi​(x)}xinf​l(x,λ∗,v∗)∂x∂l(x,λ∗,v∗)​∣∣∣∣​x=x∗​​=f0​(x∗)=f0​(x∗)=0​

于是我们就推导出了KKT条件中的稳定性条件（Stationary）

1. $\frac{\partial l(x,{\lambda }^{\ast },v^{\ast })}{\partial x}{|}_{x=x^{\ast }}=0$

加入原问题可行解的约束，我们就得到了完整的KKT条件：
$$\text{KKT}=\{\begin{array}{llcc}{f}_i(x^{\ast })\le 0& & i=1,\cdots ,m& \text{Primal feasibility}\\ h_i(x^{\ast })=0& & i=1,\cdots ,p& \text{Primal feasibility}\\ {\lambda }^{\ast }\ge 0& & & \text{Dual feasibility}\\ {\lambda }^{\ast }>0\Rightarrow f_i(x^{\ast })=0& & & \text{Complementary slackness}\\ f_i(x^{\ast })<0\Rightarrow {\lambda }_i^{\ast }=0& & & \text{Complementary slackness}\\ \frac{\partial l(x,{\lambda }^{\ast },v^{\ast })}{\partial x}{|}_{x=x^{\ast }}=0& & & \text{Stationary}\end{array}$$

但是，这里的KKT条件只是$p^{\ast }=d^{\ast }$的必要条件，此时我们用KKT解出来的解并不一定是原问题的解，我们接下去探究何时KKT为充要条件。

二、KKT条件何时是$p^{\ast }=d^{\ast }$的充要条件

若原问题为凸问题，各个函数可微，则KKT条件为$p^{\ast }=d^{\ast }$的充要条件。
证明：

只需证明充分性，设$(x^{\ast },{\lambda }^{\ast },v^{\ast })$满足KKT条件，需证：
$$\begin{array}{rlrl}& & d^{\ast }& =p^{\ast }\\ \iff & & g({\lambda }^{\ast },v^{\ast })& =f_0(x^{\ast })\end{array}$$
KKT条件如下：
$$\text{KKT}=\{\begin{array}{llcc}{f}_i(x^{\ast })\le 0& & i=1,\cdots ,m& \text{Primal feasibility}\\ h_i(x^{\ast })=0& & i=1,\cdots ,p& \text{Primal feasibility}\\ \lambda \ge 0& & & \text{Dual feasibility}\\ {\lambda }^{\ast }>0\Rightarrow f_i(x^{\ast })=0& & & \text{Complementary slackness}\\ f_i(x^{\ast })<0\Rightarrow {\lambda }_i^{\ast }=0& & & \text{Complementary slackness}\\ \frac{\partial l(x,{\lambda }^{\ast },v^{\ast })}{\partial x}{|}_{x=x^{\ast }}=0& & & \text{Stationary}\end{array}$$
对于$g({\lambda }^{\ast },v^{\ast })$，有：
$$\begin{array}{rlrl}& & g({\lambda }^{\ast },v^{\ast })& =\underset{x}{\inf }l(x,{\lambda }^{\ast },v^{\ast })\\ 由\text{Stationary}得：& & & =l(x^{\ast },{\lambda }^{\ast },v^{\ast })\\ & & & =f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x^{\ast })+\sum _{i=1}^p{v}_i^{\ast }{h}_i(x^{\ast })\\ 由\text{Primal feasibility}和\text{Complementary slackness}得：& & & =f_0(x^{\ast })\end{array}$$
证毕。

宏观感受KKT条件适用的范围：

三、解KKT条件的一个例子

二次规划：
$$\begin{array}{rlrl}\min & & \frac{1}{2}{x}^T\text{P}x+q^{T}x+r& \text{P}\in {\text{S}}_{+}^n\\ \text{s.t.}& & \text{A}x-b& =0\end{array}$$

其KKT条件：
$$\text{KKT}=\{\begin{array}{llc}\text{G}{x}^{\ast }-h\le 0& & \text{Primal feasibility}\\ \text{A}{x}^{\ast }-b=0& & \text{Primal feasibility}\\ \text{P}x+q+{\text{A}}^T{v}^{\ast }=0& & \text{Stationary}\end{array}$$
解就行了。

四、KKT条件与凸函数一阶条件的关系

对于一个普通优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$

其一阶条件：
$$\{\begin{array}{llcccc}{f}_i(x)\le 0& & i=1,\cdots ,m& & & \\ h_i(x)=0& & i=1,\cdots ,p& & & \\ \lambda \ge 0& & & & & \\ x_i(\nabla f_0(x){)}_i=0,& & i=1,\cdots ,n& & & \end{array}$$

其KKT条件：
$$\text{KKT}=\{\begin{array}{llcc}{f}_i(x^{\ast })\le 0& & i=1,\cdots ,m& \text{Primal feasibility}\\ h_i(x^{\ast })=0& & i=1,\cdots ,p& \text{Primal feasibility}\\ \lambda \ge 0& & & \text{Dual feasibility}\\ {\lambda }^{\ast }>0\Rightarrow f_i(x^{\ast })=0& & & \text{Complementary slackness}\\ f_i(x^{\ast })<0\Rightarrow {\lambda }_i^{\ast }=0& & & \text{Complementary slackness}\\ \frac{\partial l(x,{\lambda }^{\ast },v^{\ast })}{\partial x}{|}_{x=x^{\ast }}=0& & & \text{Stationary}\end{array}$$
KKT条件消除掉对偶变量$\lambda$就与一阶条件等价。

个人思考

KKT条件是凸优化的核心，它使所有带约束的凸优化问题求解变得简单，同时也指明了一条解凸问题的思路。所有的算法本质都是在解KKT条件，这是学习凸优化的重中之重。

纸质笔记