KKT (LICQ)

H. E. Krogstad, TMA 4180 Optimeringsteori KARUSH-KUHN-TUCKER THEOREM

KKT条件在处理有约束问题的时候很有用, 但是对KKT的适用性一直不是很理解, 看了这篇讲解整理一下.

基本内容

问题
$$\underset{x\in \Omega }{\min }f(x),\text{\hspace{1em}(1)}$$
在等式约束条件:
$$c_i(x)=0,i\in \xi ,\text{\hspace{1em}(2)}$$
及不等约束条件:
$$c_i(x)\ge 0,i\in \mathcal{I}.\text{\hspace{1em}(3)}$$
不妨就记
Ω = { x : c i ( x ) = 0 , i ∈ ξ , c i ( x ) ≥ 0 , i ∈ I } . \Omega = \{x: c_i(x) = 0, i \in \xi, c_i(x)\ge 0, i \in \mathcal{I}\}. Ω={x:ci​(x)=0,i∈ξ,ci​(x)≥0,i∈I}.
在不等式约束中, 即只有当我们所寻的极值点$x^{\ast }$处, $c_i(x^{\ast })=0,i\in \mathcal{I}$称之为激活不等式约束(active inequality constraints), 否则为不激活的, 我们记激活的不等式约束和等式约束为$\mathcal{A}$.

注: 均连续可微.

对于任意一个可行点$x_0$, 令$x(t),t\ge 0$为一连续路径, 满足$t\to 0,x(t)\to x_0$，定义$d$为:
$$\frac{x(t)-x_0}{\Vert x(t)-x_0\Vert }\underset{t\to 0}{\to }\frac{d}{\Vert d\Vert }.$$

有如下性质:
$$\begin{gathered} \nabla c_i(x)d=0,i\in \xi \\ \nabla c_i(x)d\ge 0,i\in \mathcal{I}\cap \mathcal{A},\text{\hspace{1em}(8,9)} \end{gathered}$$
其中, 我们假设梯度向量为行向量.

证明:
$$c_i(x(t))-c_i(x_0)=\nabla c_i(x_0)(x(t)-x_0)+o(\Vert x(t)-x_0\Vert )=0,i\in \xi$$
两边同除以$\Vert x(t)-x_0\Vert$, 并令$t\to 0$即可得.
$$c_i(x(t))-c_i(x_0)=\nabla c_i(x_0)(x(t)-x_0)+o(\Vert x(t)-x_0\Vert )=c_i(x(t))\ge 0,i\in \mathcal{I}\cap \mathcal{A}$$
与上面同样的操作即可得.

我们把这些由路径引导出来的可行方向$d$的集合记为
T ( x ) = { d : d   f e a s i b l e   d i r e c t i o n   o u t   f r o m   x } . (10) \tag{10} \mathcal{T}(x) = \{d: d \: feasible \: di rection \: out \: from \: x\}. T(x)={d:dfeasibledirectionoutfromx}.(10)
而记满足$(8,9)$的一切$d$的集合记为$\mathcal{F}(x)$, 显然$\mathcal{T}(x)\subset \mathcal{F}(x)$, 且均为锥(即$d$属于此集合, 则$\alpha d,\alpha >0$也属于此集合).

LICQ 假设

点$x_0$满足LICQ假设, 当
{ ∇ c i ( x 0 ) } , i ∈ A , (14) \tag{14} \{\nabla c_i(x_0)\}, i \in \mathcal{A}, {∇ci​(x0​)},i∈A,(14)
是线性独立的.
线性不独立: 当集合中存在一个向量能够由其他向量线性表出, 否则称此集合线性独立. 显然这是比线性无关更强的一个概念.

KKT 定理

假设$x^{\ast }$是问题(1)在等式约束(2)以及不等式约束(3)的限制下的局部最小值点, 且满足LICQ假设. 则存在${\lambda }_i^{\ast }$满足:
$$\nabla f(x^{\ast })=\sum _{i\in \xi \cup \mathcal{I}}{\lambda }_i^{\ast }\nabla c_i(x^{\ast }),\text{\hspace{1em}(17)}$$
且
$$\begin{array}{lc}(i)& {\lambda }_i^{\ast }\cdot c_i(x^{\ast })=0,i\in \xi \cup \mathcal{I},\\ (ii)& {\lambda }_i^{\ast }\ge 0,i\in \mathcal{I}.\end{array}\text{\hspace{1em}(18)}$$

KKT定理的证明

记:
$$A=\left[\begin{array}{c}\nabla c_1(x)\\ ⋮\\ \nabla c_m(x)\end{array}\right]$$
属于$\mathcal{A}$的所有$c_i$的梯度的综合表示,
$$c(x)=[c_1(x),\dots ,c_m(x){]}^T.$$

引理A

引理A: 当$x\in {\mathbb{R}}^n$满足LICQ假设, 则$\mathcal{T}(x)=\mathcal{F}(x)$.

证明:
既然$\mathcal{T}(x)\subset \mathcal{F}(x)$, 我们只需要证明$\mathcal{F}(x)\subset \mathcal{T}(x)$.

下面, $\forall d\in \mathcal{F}(x)$, 我们将构造$y(t),t\ge 0$, 为一连续的起点为$y(0)=x$的路径, 且在$x$的足够小的一个邻域内$y(t)$满足等式约束和不等式约束, 一旦找到这样的$y(t)$, 证明也就完成了.

根据假设可知, dim($A$) = $m$, 则$A$的核的维数为$dim(N(A))=n-m$, 我们从核空间中抽取一组基作为行向量构建$Z^{\prime }$, 则
$$\left[\begin{array}{c}A\\ Z^{\prime }\end{array}\right]\text{\hspace{1em}(24)}$$
是一个非奇异的$n\times n$的方阵.

考虑如下的非线性方程系统(显然有解$t=0,y=x$)
$$R(y,t)=\left[\begin{array}{c}c(y)-tAd\\ Z^{\prime }(y-x-td)\end{array}\right]=0.\text{\hspace{1em}(25)}$$
关于$y$的加科比行列式为
$$\frac{\partial R}{\partial y}{|}_{t=0}=\left[\begin{array}{c}A\\ Z^{\prime }\end{array}\right],\text{\hspace{1em}(26)}$$
非奇异, 所以根据隐函数定理可知, 在$t$足够小的时候, 存在连续可微函数$y(t)$, 且$y(0)=x$.

既然
$$c(y)=c(x)+\nabla c(x)(y-x)+o(\Vert y-x\Vert )=A(y-x)+o(\Vert y-x\Vert ),\text{\hspace{1em}(27)}$$
我们有
$$0=R(y(t),t)=\left[\begin{array}{c}A\\ Z^{\prime }\end{array}\right](y(t)-x-td)+o(\Vert y(t)-x\Vert ).\text{\hspace{1em}(28)}$$

也就是说
$$y(t)-x=td+o(\Vert y(t)-x\Vert ),\text{\hspace{1em}(29)}$$
俩边令$t\to 0$, 可知$y(t)$为$d$的一个连续路径.
又结合(25)
$$c(y(t))-tAd=0,\text{\hspace{1em}(30)}$$
$$c_i(y(t))=t\nabla c_i(x)d=\{\begin{array}{ll}0,& i\in \xi \\ \ge 0,& i\in \mathcal{I}\cap \mathcal{A}.\end{array}\text{\hspace{1em}(31)}$$
所以对于任意的$i\in \mathcal{A}$, $y(t)$是可行路径, 对于未激活的不等式约束, 既然$y(t)$是连续的, 当$t$足够效地时候容易得到$c_i(y(t))>0,i\in \mathcal{I},i\notin \mathcal{A}$. 这样便证明了, $\forall d\in \mathcal{F}(x)$, 均为可行方向, 故$\mathcal{F}(x)=\mathcal{T}(x)$.

Farkas 引理

Farkas 引理: 令$g$和 { a i } i = 1 m \{a_i\}_{i=1}^m {ai​}i=1m​为$n$维行向量且
S = { d ∈ R n ; g d < 0 , a i d ≥ 0 , i = 1 , … , m } , (33) \tag{33} \mathcal{S} = \{ d \in \mathbb{R}^n; gd<0 , a_id \ge 0, i=1, \ldots, m\}, S={d∈Rn;gd<0,ai​d≥0,i=1,…,m},(33)
则$\mathcal{S}=\varnothing$当且仅当存在非负向量$\lambda \in {\mathbb{R}}^m$ 使得
$$g=\sum _{i=1}^m{\lambda }_i{a}_i.\text{\hspace{1em}(34)}$$

证明:

$\Leftarrow$

$\forall d\in \mathcal{S}$,
$$0>gd=\sum _{i=1}^m{\lambda }_i{a}_{i}d\ge 0,$$
故$\mathcal{S}=\varnothing$.

$\Rightarrow$

若不存在这样的$\lambda$, 即对于任意的$\lambda$, $g\ne {\sum }_{i=1}^m{\lambda }_i{a}_i$, 则$g$不能由 { a i } \{a_i\} {ai​}线性表出. 不妨假设 { a i } \{a_i\} {ai​}与$g$按序进行施密特正交化过程, 可得 { a ^ i } \{\hat{a}_i\} {a^i​}为 { a i } \{a_i\} {ai​}的一正交向量组, $h$为
$$h=g-\sum _i⟨g,{\hat{a}}_i⟩{\hat{a}}_i,$$
则
$$\begin{gathered} ⟨h,a_i⟩=0, \\ ⟨h,g⟩=l\ne 0. \end{gathered}$$
不妨设$l<0$(否则$h=-h$), 则$h\in \mathcal{S}$, 这与$\mathcal{S}=\varnothing$矛盾.

证毕.

定义问题$\mathcal{P}$:
$$\begin{gathered} gd<0, \\ Ad\ge 0.\text{\hspace{1em}(36)} \end{gathered}$$
定义问题$\mathcal{D}$:
$$g={\lambda }^{T}A,\lambda \ge 0.\text{\hspace{1em}(37)}$$

推论

推论: 要么问题$\mathcal{P}$存在解, 要么$\mathcal{D}$存在解, 二者不能同时成立.

KKT定理的证明

既然$x^{\ast }$是一局部极值点, 则
$$\nabla f(x^{\ast })d\ge 0,\forall d\in \mathcal{T}(x^{\ast })=\mathcal{F}(x^{\ast }),\text{\hspace{1em}(38)}$$
将$\nabla f(x^{\ast })$视作Farkas引理中的$g$, $A$即为我们最开始定义的$A$, 则$\forall Ad\ge 0$, $d\in \mathcal{F}(x)$, 这是因为所有等式约束$c_i(x)=0$, 都可以变成俩个不等式约束$c_i(x)\ge 0,-c_i(x)\ge 0$. 这也就是说, 问题$\mathcal{P}$无解, 则$\mathcal{D}$有解, 即存在${\lambda }^{\ast }\ge 0$:
$$\nabla f(x^{\ast })=\sum {\lambda }_i^{\ast }\nabla c_i(x^{\ast }),{\lambda }_i^{\ast }\ge 0.\text{\hspace{1em}(39)}$$
对于任意的$i\notin \mathcal{A}$, 我们只需取${\lambda }_i^{\ast }=0$, (39)依然成立, 同时原定理(18)中的(i)(ii)也同样容易证明.