KKT条件学习

不等式约束问题

$$\begin{array}{lllc}\text{ (P) }& \min & f(\mathbf{x})& \\ & \text{ s.t. }& g_i(\mathbf{x})\le 0,& i=1,2,\dots ,m\end{array}$$
其中$f,g_1,\cdots ,g_m$是在${\mathbb{R}}^n$连续可微的函数

可行下降方向

$$\begin{array}{ll}\min & b(\mathbf{x})\\ \text{ s.t. }& \mathbf{x}\in C\end{array}$$
其中$h$是在闭凸集$\mathbf{C}\subseteq {\mathbb{R}}^n$上连续可微的函数。
设向量$\mathbf{d}\ne 0$ ，$\mathbf{x}\in \mathbf{C}$
如果$\nabla h(\mathbf{x}{)}^T\mathbf{d}<0$,并且存在$ϵ>0$使得$\forall t\in \left[0,ϵ\right],\mathbf{x}+t\mathbf{d}\in \mathbf{C}$
则$\mathbf{d}$是在$\mathbf{x}$点的可行下降方向

引理1

考虑问题
$$\begin{array}{lll}\text{ (G) }& \min & h(\mathbf{x})\\ & \text{ s.t. }& \mathbf{x}\in C.\end{array}$$
如果${\mathbf{x}}^{\ast }$是一个局部最优解，则在${\mathbf{x}}^{\ast }$没有可行下降方向

证明：
假设有下降方向，则存在$\mathbf{d}\ne 0,{ϵ}_1>0$
$\forall t\in \left[0,{ϵ}_1\right],{\mathbf{x}}^{\ast }+t\mathbf{d}\in \mathbf{C},\nabla f(\mathbf{x}{)}^T\mathbf{d}<0$
根据下降方向的性质
$\exists {ϵ}_2<{ϵ}_1,\forall t\in \left[0,{ϵ}_2\right],f({\mathbf{x}}^{\ast }+t\mathbf{d})<f({\mathbf{x}}^{\ast })$
和局部最优矛盾了

引理2

设${\mathbf{x}}^{\ast }$是
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m\end{array}$$
的局部最优解
其中$f,g_1,\cdots ,g_m$是${\mathbb{R}}^n$上连续可微的函数
设
I ( x ∗ ) = { i : g i ( x ∗ ) = 0 } I(\mathbf{x}^*)=\left\{i: g_i(\mathbf{x}^*)=0\right\} I(x∗)={i:gi​(x∗)=0}
则不存在$\mathbf{d}\in {\mathbb{R}}^n$,使得
$$\begin{array}{rl}& \nabla f{\left({\mathbf{x}}^{\ast }\right)}^T\mathbf{d}<0,\\ & \nabla g_i{\left({\mathbf{x}}^{\ast }\right)}^T\mathbf{d}<0,i\in I\left({\mathbf{x}}^{\ast }\right)\end{array}$$
证明：
假设存在$\mathbf{d}$使得
$$\begin{array}{rl}& \nabla f{\left({\mathbf{x}}^{\ast }\right)}^T\mathbf{d}<0,\\ & \nabla g_i{\left({\mathbf{x}}^{\ast }\right)}^T\mathbf{d}<0,i\in I\left({\mathbf{x}}^{\ast }\right)\end{array}$$
那么存在${ϵ}_1>0$，$\forall t\in (0,{ϵ}_1),i\in I({\mathbf{x}}^{\ast })$
使得$f({\mathbf{x}}^{\ast }+t\mathbf{d})<f({\mathbf{x}}^{\ast })$以及$g_i({\mathbf{x}}^{\ast }+t\mathbf{d})<g_i({\mathbf{x}}^{\ast })=0$

对于$i\notin I({\mathbf{x}}^{\ast })$,有$g_i({\mathbf{x}}^{\ast })<0$
因此$\exists {ϵ}_2>0,\forall t\in (0,{ϵ}_2),i\notin I({\mathbf{x}}^{\ast })$,有$g_i({\mathbf{x}}^{\ast }+t\mathbf{d})<0$

所以 ∀ t ∈ ( 0 , min ⁡ { ϵ 1 , ϵ 2 } ) \forall t\in \left(0,\min \left\{\epsilon_1,\epsilon_2\right\}\right) ∀t∈(0,min{ϵ1​,ϵ2​}),有
$$\begin{array}{rl}& f\left({\mathbf{x}}^{\ast }+t\mathbf{d}\right)<f\left({\mathbf{x}}^{\ast }\right)\\ & g_i\left({\mathbf{x}}^{\ast }+t\mathbf{d}\right)<0,i=1,2,\dots ,m,\end{array}$$
与${\mathbf{x}}^{\ast }$局部最优解矛盾

不等式约束问题的Fritz-John条件

设${\mathbf{x}}^{\ast }$是
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m\end{array}$$
的局部最优解
其中$f,g_1,\cdots ,g_m$是${\mathbb{R}}^n$上连续可微的函数
则存在不全为0的${\lambda }_0,{\lambda }_1,\cdots ,{\lambda }_m\ge 0$，使得
$$\begin{array}{rl}{\lambda }_0\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$
证明：
由引理2
不存在$\mathbf{d}$使得
$$\begin{array}{rl}& \nabla f{\left({\mathbf{x}}^{\ast }\right)}^T\mathbf{d}<0,\\ & \nabla g_i{\left({\mathbf{x}}^{\ast }\right)}^T\mathbf{d}<0,i\in I\left({\mathbf{x}}^{\ast }\right)\end{array}$$
其中 I ( x ∗ ) = { i : g i ( x ∗ ) } = { i 1 , i 2 , ⋯   , i k } I(\mathbf{x}^*)=\left\{i:g_i(\mathbf{x}^*)\right\}=\left\{i_1,i_2,\cdots,i_k\right\} I(x∗)={i:gi​(x∗)}={i1​,i2​,⋯,ik​}
这个等价于
$$\mathbf{A}\mathbf{d}<0$$
无解
其中
$$\mathbf{A}=\left(\begin{array}{c}\nabla f{\left({\mathbf{x}}^{\ast }\right)}^T\\ \nabla g_{i_1}{\left({\mathbf{x}}^{\ast }\right)}^T\\ ⋮\\ \nabla g_{i_k}{\left({\mathbf{x}}^{\ast }\right)}^T\end{array}\right)$$
根据Gordan定理，
无解等价于存在$\eta ={\left({\lambda }_0,\cdots ,{\lambda }_{i_k}\right)}^T\ne 0$,使得
$${\mathrm{A}}^T\eta =0,\eta \ge 0$$
于是
$$\begin{array}{rl}{\lambda }_0\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$

不等式约束问题的KKT条件

设${\mathbf{x}}^{\ast }$是
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m\end{array}$$
的局部最优解
其中$f,g_1,\cdots ,g_m$是${\mathbb{R}}^n$上连续可微的函数
设
I ( x ∗ ) = { i : g i ( x ∗ ) = 0 } I(\mathbf{x}^*)=\left\{i:g_i(\mathbf{x}^*)=0\right\} I(x∗)={i:gi​(x∗)=0}
设 { ∇ g i ( x ∗ ) } i ∈ I ( x ∗ ) \left\{\nabla g_i(\mathbf{x}^*)\right\}_{i\in I(\mathbf{x}^*)} {∇gi​(x∗)}i∈I(x∗)​线性无关
则存在${\lambda }_1,\cdots ,{\lambda }_m\ge 0$,使得
$$\begin{array}{rl}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$
证明：
根据Fritz-John条件，存在不全为0的$\widetilde{{\lambda }_0},\cdots ,\widetilde{{\lambda }_m}\ge 0$
使得$$\begin{array}{rl}\widetilde{{\lambda }_0}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m\widetilde{{\lambda }_i}\nabla g_i\left({\mathbf{x}}^{\ast }\right)& =0,\\ \widetilde{{\lambda }_i}{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$
如果$\widetilde{{\lambda }_0}=0$,则$\widetilde{{\lambda }_i}=0$,与 { ∇ g i ( x ∗ ) } i ∈ I ( x ∗ ) \left\{\nabla g_i(\mathbf{x}^*)\right\}_{i\in I(\mathbf{x}^*)} {∇gi​(x∗)}i∈I(x∗)​线性无关
所以令${\lambda }_i=\frac{\widetilde{{\lambda }_i}}{\widetilde{{\lambda }_0}}$
得证

不等式与等式约束问题

不等式与等式约束问题的KKT条件

设${\mathbf{x}}^{\ast }$是问题
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m\\ & h_j(\mathbf{x})=0,j=1,2,\dots ,p\end{array}$$
的局部最优解，
其中$f,g_1,\cdots ,g_m,h_1,\cdots ,h_p$是在${\mathbb{R}}^n$上连续可微的函数
假设
{ ∇ g i ( x ∗ ) : i ∈ I ( x ∗ ) } ∪ { ∇ h j ( x ∗ ) : j = 1 , 2 , … , p } \left\{\nabla g_{i}\left(\mathbf{x}^{*}\right): i \in I\left(\mathbf{x}^{*}\right)\right\} \cup\left\{\nabla h_{j}\left(\mathbf{x}^{*}\right): j=1,2, \ldots, p\right\} {∇gi​(x∗):i∈I(x∗)}∪{∇hj​(x∗):j=1,2,…,p}
线性无关
其中 I ( x ∗ ) = { i : g i ( x ∗ ) = 0 } I(\mathbf{x}^*)=\left\{i:g_i(\mathbf{x}^*)=0\right\} I(x∗)={i:gi​(x∗)=0}
则存在${\lambda }_1,\cdots ,{\lambda }_m\ge 0$和${\mu }_1,\cdots ,{\mu }_p\in \mathbb{R}$，使得
$$\begin{array}{rl}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)+\sum _{j=1}^p{\mu }_j\nabla h_j\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$

KKT点

一个可行解$x^{\ast }$
如果存在${\lambda }_1,\cdots ,{\lambda }_m\ge 0$和${\mu }_1,\cdots ,{\mu }_p\in \mathbb{R}$，使得
$$\begin{array}{rl}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)+\sum _{j=1}^p{\mu }_j\nabla h_j\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$
则${\mathbf{x}}^{\ast }$称为KKT点

规范(regularity)

一个可行解${\mathbf{x}}^{\ast }$
如果 { ∇ g i ( x ∗ ) : i ∈ I ( x ∗ ) } ∪ { ∇ h j ( x ∗ ) : j = 1 , 2 , … , p } \left\{\nabla g_{i}\left(\mathbf{x}^{*}\right): i \in I\left(\mathbf{x}^{*}\right)\right\} \cup\left\{\nabla h_{j}\left(\mathbf{x}^{*}\right): j=1,2, \ldots, p\right\} {∇gi​(x∗):i∈I(x∗)}∪{∇hj​(x∗):j=1,2,…,p}
线性无关，则称为规范(regularity)

凸的条件下

凸优化问题中KKT条件的充分性

设${\mathbf{x}}^{\ast }$是问题
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m\\ & h_j(\mathbf{x})=0,j=1,2,\dots ,p\end{array}$$
的一个可行解
其中$f,g_1,\cdots ,g_m$是在${\mathbb{R}}^n$上连续可微的凸函数
$h_1,\cdots ,h_p$是仿射函数
如果存在${\lambda }_1,\cdots ,{\lambda }_m\ge 0$和${\mu }_1,\cdots ,{\mu }_p\in \mathbb{R}$，使得
$$\begin{array}{rl}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)+\sum _{j=1}^p{\mu }_j\nabla h_j\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$
则${\mathbf{x}}^{\ast }$是最优解
证明：
$$s(\mathbf{x})=f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})+\sum _{j=1}^p{\mu }_j{h}_j(\mathbf{x})$$
$\nabla s({\mathbf{x}}^{\ast })=0$,所以$s({\mathbf{x}}^{\ast })\le s(\mathbf{x})$
所以
$$\begin{array}{rl}f\left({\mathbf{x}}^{\ast }\right)& =f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)+\sum _{j=1}^p{\mu }_j{h}_j\left({\mathbf{x}}^{\ast }\right)\\ & =s\left({\mathbf{x}}^{\ast }\right)\\ & \le s(\mathbf{x})\\ & =f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})+\sum _{j=1}^p{\mu }_j{h}_j(\mathbf{x})\\ & \le f(\mathbf{x})\end{array}$$

不等式约束问题中KKT条件下Slater条件的必要性

设${\mathbf{x}}^{\ast }$是
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m\end{array}$$
的局部最优解
其中$f,g_1,\cdots ,g_m$是${\mathbb{R}}^n$上连续可微的函数，
并且$g_1,\cdots ,g_m$是凸函数
假设存在$\hat{\mathbf{x}}\in {\mathbb{R}}^n$,使得
$$g_i(\hat{\mathbf{x}})<0,i=1,2,\dots ,m$$
则存在${\lambda }_1,\cdots ,{\lambda }_m\ge 0$,使得
$$\begin{array}{rl}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$
证明：
因为${\mathbf{x}}^{\ast }$是局部最优解，所以一定满足Fritz-John条件
即存在不全为0的${\lambda }_0,{\lambda }_1,\cdots ,{\lambda }_m\ge 0$，使得
$$\begin{array}{rl}{\lambda }_0\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m\end{array}$$

假设${\lambda }_0=0$,则
$$\sum _{i=1}^m{\tilde{\lambda }}_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)=0$$
由凸函数的一阶条件
$$0>g_i(\hat{\mathbf{x}})\ge g_i\left({\mathbf{x}}^{\ast }\right)+\nabla g_i{\left({\mathbf{x}}^{\ast }\right)}^T\left(\hat{\mathbf{x}}-{\mathbf{x}}^{\ast }\right)$$
于是
$$0>\sum _{i=1}^m{\tilde{\lambda }}_i{g}_i\left({\mathbf{x}}^{\ast }\right)+{\left[\sum _{i=1}^m{\tilde{\lambda }}_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)\right]}^T\left(\hat{\mathbf{x}}-{\mathbf{x}}^{\ast }\right)=0$$
矛盾
所以${\lambda }_0>0$，然后取${\lambda }_i=\frac{\widetilde{{\lambda }_i}}{{\lambda }_0}$
得证

广义Slater条件

$$\begin{array}{ll}{g}_i(\mathbf{x})\le 0,& i=1,2,\dots ,m,\\ h_j(\mathbf{x})\le 0,& j=1,2,\dots ,p,\\ s_k(\mathbf{x})=0,& k=1,2,\dots ,q,\end{array}$$
其中$g_i$是凸函数，$h_j,s_k$是仿射函数
如果存在$\hat{\mathbf{x}}\in {\mathbb{R}}^n$,满足
$$\begin{array}{ll}{g}_i(\hat{\mathbf{x}})<0,& i=1,2,\dots ,m,\\ h_j(\hat{\mathbf{x}})\le 0,& j=1,2,\dots ,p,\\ s_k(\hat{\mathbf{x}})=0,& k=1,2,\dots ,q,\end{array}$$
则满足广义Slater条件

不等式与等式约束问题的KKT条件下的广义Slater条件的必要性

设${\mathbf{x}}^{\ast }$是问题
$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})\le 0,i=1,2,\dots ,m,\\ & h_j(\mathbf{x})\le 0,j=1,2,\dots ,p,\\ & s_k(\mathbf{x})=0,k=1,2,\dots ,q,\end{array}$$
的最优解
其中$f,g_1,\cdots ,g_m$是在${\mathbb{R}}^n$上的连续可微凸函数，$h_j,s_k$是仿射函数
如果存在$\hat{\mathbf{x}}\in {\mathbb{R}}^n$,满足
$$\begin{array}{ll}{g}_i(\hat{\mathbf{x}})<0,& i=1,2,\dots ,m,\\ h_j(\hat{\mathbf{x}})\le 0,& j=1,2,\dots ,p,\\ s_k(\hat{\mathbf{x}})=0,& k=1,2,\dots ,q,\end{array}$$
则存在${\lambda }_1,\cdots ,{\lambda }_m,{\eta }_1,\cdots ,{\eta }_p\ge 0,{\mu }_1,\cdots ,{\mu }_q\in \mathbb{R}$,使得
$$\begin{array}{rl}\nabla f\left({\mathbf{x}}^{\ast }\right)+\sum _{i=1}^m{\lambda }_i\nabla g_i\left({\mathbf{x}}^{\ast }\right)+\sum _{j=1}^p{\eta }_j\nabla h_j\left({\mathbf{x}}^{\ast }\right)+\sum _{k=1}^q{\mu }_k\nabla s_k\left({\mathbf{x}}^{\ast }\right)& =0,\\ {\lambda }_i{g}_i\left({\mathbf{x}}^{\ast }\right)& =0,i=1,2,\dots ,m,\\ {\eta }_j{h}_j\left({\mathbf{x}}^{\ast }\right)& =0,j=1,2,\dots ,p.\end{array}$$

二阶优化条件

再说吧