优化问题的最优性条件与拉格朗日对偶

优化问题的最优性条件

无约束优化问题

  设$f(x):\Omega \to \mathbb{R},\Omega \in {\mathbb{R}}^n$为连续可微函数，
$$\underset{x\in \Omega }{\min }f(x)(1)$$
优化问题(1)存在局部极小值$x^{\ast }$的充分必要条件为：

• ${\nabla }_{x}f(x^{\ast })=0$；
• $x^{\ast }$处的Hessian矩阵半正定，即$v^T({\nabla }^{2}f(x^{\ast }))v\ge 0,\forall v\in {\mathbb{R}}^n$，
  $${\nabla }^{2}f(x)=\left(\begin{array}{ccc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& ...& \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ ...& ...& ...\\ \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_1}& ...& \frac{{\partial }^{2}f(x)}{\partial x_n^2}\end{array}\right)$$

约束优化问题

  最优化问题的一般数学表现形式：
$$\{\begin{array}{c}{\min }_{x\in \Omega }f(x)\\ \begin{array}{rl}s.t.g_i(x)& \le 0,i=1,2,...,k\\ h_j(x)& =0,j=1,2,...,l\end{array}\end{array}(2)$$
其中$f(x)$为目标函数，$g_i(x)$为不等式约束，$h_j(x)$为等式约束。

• 线性规划：$f(x)$、$g_i(x)$、$h_j(x)$均是线性函数。
• 非线性规划：$f(x)$、$g_i(x)$、$h_j(x)$有一个是非线性函数。
• 二次规划：目标函数为二次函数，约束函数全为线性函数。
• 凸优化：目标函数和不等式约束为凸函数，等式约束为线性函数。

KKT条件

  定义拉格朗日函数：
$$\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })=f(x)+{\mathbf{\mu }}^T\mathbf{h}(x)+{\mathbf{\lambda }}^T\mathbf{g}(x)$$
则$x^{\ast }$为局部极小值$⟺$存在唯一的${\mathbf{\mu }}^{\ast }$、${\mathbf{\lambda }}^{\ast }$满足KKT条件

• 一阶最优性条件：${\nabla }_x\mathcal{L}(x^{\ast },\mathbf{\mu },{\mathbf{\lambda }}^{\ast })=0$
• 拉格朗日乘子：${\lambda }_i^{\ast }\ge 0,{\mu }_i^{\ast }\ge 0\forall i=1,...,k$
• 互补松弛条件：${\lambda }_i^{\ast }g(x^{\ast })=0\forall i=1,...,k$
• 不等式约束条件：$g_i(x^{\ast })\le 0fori=1,...,k$
• 等式约束条件：$\mathbf{h}(x^{\ast })=0$
• 二阶最优性条件：${\nabla }_{xx}\mathcal{L}(x^{\ast },\mathbf{\mu },{\mathbf{\lambda }}^{\ast })$正定

  约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解。

不可微情形：次梯度

  对于一个凸函数$f(x)$，若不等式
$$f(\bar{x})\ge f(x)+<z,\bar{x}-x>,\forall \bar{x}$$

成立，则称向量$z$为函数$f(x)$在$x$处的次梯度。$f(x)$在$x$处的所有次梯度的集合称为次微分，记为$\partial f(x)$。
  绝对值函数$f(x)=|x|$的次微分为：
$$\partial f(x)=\{\begin{array}{c}+1,x>0\\ -1,x<0\\ [-1,+1],x=0\end{array}$$

通常记 $z\in sgn(x)$。

  设$f(x)$与$g(x)$均可微，给定仅含不等式的凸优化问题：
$$\underset{x}{\min }f(x)s.t.g(x)\le 0$$

定义Lagrange函数为：$\mathcal{L}(x,\lambda )=f(x)+\lambda g(x)$。

  若至少存在一点$\bar{x}\in relintD$ 使得$g(\bar{x})<0$成立，则$x^{\ast }$为优化问题的最优解，当且仅当，存在唯一的${\lambda }^{\ast }\ge 0$使得KKT条件成立：

• 拉格朗日条件：${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast })=\nabla f(x^{\ast })+{\lambda }^{\ast }\nabla g(x^{\ast })=0$
• 可行条件：$g(x^{\ast })\le 0$
• 互补松弛条件：${\lambda }^{\ast }g(x^{\ast })=0$

其中$relintD$表示可行域$D$ 的相对内部（除去边界的部分）。

  若$f(x)$和$g(x)$至少有一个不可微，则将拉格朗日条件中的梯度替换为次梯度，得到广义的KKT理论
$$0\in \partial f(x^{\ast })+{\lambda }^{\ast }\partial g(x^{\ast })$$

拉格朗日对偶

原始问题

  一般约束优化问题：
$$\{\begin{array}{c}{\min }_{x\in \Omega }f(x)\\ \begin{array}{rl}s.t.g_i(x)& \le 0,i=1,2,...,k\\ h_j(x)& =0,j=1,2,...,l\end{array}\end{array}(2)$$

  定义拉格朗日函数：
$$\begin{array}{rl}\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })& =f(x)+\sum _{j=1}^l{\mu }_j{h}_j(x)+\sum _{i=1}^k{\lambda }_i{g}_i(x)\\ & =f(x)+{\mathbf{\mu }}^T\mathbf{h}(x)+{\mathbf{\lambda }}^T\mathbf{g}(x)\end{array}$$

  定义$x$的函数：
$${\theta }_P(x)=\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$$

则$${\theta }_P(x)=\{\begin{array}{cc}f(x)& g_i(x)\le 0,h_j(x)=0\\ +\infty & g_i(x)>0,h_j(x)\ne 0\end{array}$$

【说明】当$g_i(x)\le 0,h_j(x)=0$时，${\theta }_P(x)={\max }_{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}f(x)+{\sum }_{i=1}^k{\lambda }_i{g}_i(x)$，取${\lambda }_i=0$时$\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$取得极大值；当$g_i(x)>0,h_j(x)\ne 0$，可取${\lambda }_i\to +\infty ,{\mu }_j{h}_j(x)\to +\infty$。

这样便把带约束的原始问题转(2)化成等价的无约束问题：
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$$

对偶问题

  定义对偶函数：
$${\theta }_D(\mathbf{\mu },\mathbf{\lambda })=\underset{x}{\min }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$$
  定义对偶问题：
$$\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }{\theta }_D(\mathbf{\mu },\mathbf{\lambda })=\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$$

对偶问题是凸优化问题

θ D ( μ , λ ) = inf ⁡ x { f ( x ) + ∑ j = 1 l μ j h j ( x ) + ∑ i = 1 k λ i g i ( x ) } = − sup ⁡ x { − f ( x ) − ∑ j = 1 l μ j h j ( x ) − ∑ i = 1 k λ i g i ( x ) } \begin{aligned} \theta_D(\boldsymbol{\mu},\boldsymbol{\lambda})&=\inf_{x}\{f(x)+\sum_{j=1}^{l}\mu_jh_j(x)+\sum_{i=1}^{k}\lambda_ig_i(x)\}\\&=-\sup_{x}\{-f(x)-\sum_{j=1}^{l}\mu_jh_j(x)-\sum_{i=1}^{k}\lambda_ig_i(x)\} \end{aligned} θD​(μ,λ)​=xinf​{f(x)+j=1∑l​μj​hj​(x)+i=1∑k​λi​gi​(x)}=−xsup​{−f(x)−j=1∑l​μj​hj​(x)−i=1∑k​λi​gi​(x)}​
max ⁡ μ , λ ; λ ≥ 0 θ D ( μ , λ ) = min ⁡ x sup ⁡ x { − f ( x ) − ∑ j = 1 l μ j h j ( x ) − ∑ i = 1 k λ i g i ( x ) } \max_{\boldsymbol{\mu},\boldsymbol{\lambda};\boldsymbol{\lambda}\geq\boldsymbol{0}}\theta_D(\boldsymbol{\mu},\boldsymbol{\lambda})=\min_{x}\sup_{x}\{-f(x)-\sum_{j=1}^{l}\mu_jh_j(x)-\sum_{i=1}^{k}\lambda_ig_i(x)\} μ,λ;λ≥0max​θD​(μ,λ)=xmin​xsup​{−f(x)−j=1∑l​μj​hj​(x)−i=1∑k​λi​gi​(x)}
仿射函数既是凸函数也是凹函数，凸函数的上确界仍是凸函数。

对偶问题的几何解释

  假设要求解的原始问题为：
$$\underset{x\in \Omega }{\min }f(x)s.t.g(x)\le 0$$
拉格朗日函数：$\mathcal{L}(x,\lambda )=f(x)+\lambda g(x)$

  定义如下集合：
G = { ( u , t ) ∣ u = g ( x ) , t = f ( x ) , x ∈ Ω } \mathcal{G}=\{(u,t)|u=g(x),t=f(x),x\in\Omega\} G={(u,t)∣u=g(x),t=f(x),x∈Ω}

  假设原始问题、对偶问题最优值均存在，记原始问题最优值为$p^{\ast }$，对偶问题最优值为$d^{\ast }$，则
p ∗ = inf ⁡ { t ∣ ( u , t ) ∈ G , u ≤ 0 } p^*=\inf\{t|(u,t)\in\mathcal{G},u\leq0\} p∗=inf{t∣(u,t)∈G,u≤0}

$$d^{\ast }=\underset{\lambda }{\max }\underset{x}{\min }\mathcal{L}(x,\lambda )=\underset{\lambda }{\max }\underset{x}{\min }(t+\lambda u)=\underset{\lambda }{\max }m(\lambda )$$

其中 m ( λ ) = min ⁡ x ( t + λ u ) = inf ⁡ x { t + λ u ∣ ( u , t ) ∈ G } m(\lambda)=\min_{x}(t+\lambda u)=\inf_x\{t+\lambda u|(u,t)\in\mathcal{G}\} m(λ)=minx​(t+λu)=infx​{t+λu∣(u,t)∈G}。

• $p^{\ast }$：$p\ast$的表达式式表明原始问题最优值为在区域$\mathcal{G}$内，寻找在$u\le 0$的条件下$t$的最小值，在$t-u$图中反映为，将$\mathcal{G}$负$u$半轴区域投影到$t$轴，得到的$t$轴上的线段的最小值。

• $d^{\ast }$：首先关于直线$t+\lambda u=\Delta$需指出：(1)纵轴截距为$\Delta$；(2)斜率为$-\lambda$。$d\ast$表达式中，对给定的$\lambda$，$m(\lambda )$为在区域$\mathcal{G}$内，寻找$t+\lambda u$的最小值，在$t-u$图中反映为，给定斜率$\lambda$，与$\mathcal{G}$相交的直线$t+\lambda u=\Delta$中纵轴截距最小的直线对应的$\Delta$；不同的$\lambda$反映直线不同的斜率。

原始问题与对偶问题的关系

  假设原始问题、对偶问题都有最优值，记原始问题、对偶问题的最优值分别为$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$$ $$d^{\ast }=\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }{\theta }_D(\mathbf{\mu },\mathbf{\lambda })=\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })$$

1. 弱对偶性

定理：对于任何优化问题，均有$d^{\ast }\le p^{\ast }$（弱对偶性）

证明：

$\forall x,\mathbf{\mu },\mathbf{\lambda }$有：
$${\theta }_D(\mathbf{\mu },\mathbf{\lambda })=\underset{x}{\min }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })\le \mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })\le \underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }\mathcal{L}(x,\mathbf{\mu },\mathbf{\lambda })={\theta }_P(x)$$
由任意性得：
$$d^{\ast }=\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }{\theta }_D(\mathbf{\mu },\mathbf{\lambda })\le \underset{x}{\min }{\theta }_P(x)=p^{\ast }$$

推论：设$x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$分别为原始问题和对偶问题的可行解，且${\theta }_D({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })={\theta }_P(x^{\ast })$，则$x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$分别为原始问题和对偶问题的最优解。

证明：

对原始问题的任一可行解$x$，由上述定理，${\theta }_P(x)\ge {\theta }_D({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })={\theta }_P(x^{\ast })$，故$x^{\ast }$是原始问题的最优解。对偶问题的任一可行解$\mu ,\lambda$，由上述定理，${\theta }_D(\mathbf{\mu },\mathbf{\lambda })\le {\theta }_P(x^{\ast })={\theta }_D({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })$，故${\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$是对偶问题的最优解。

2. 强对偶性

定义：强对偶性（strong duality）即满足$d^{\ast }=p^{\ast }$。

定理：设函数$f(x),g_i(x)$是凸函数，$h_j(x)$是仿射函数（最高次数为1的多项式函数），不等式约束是严格可行的，即$\exists x{g}_i(x)<0\forall i$，则存在$x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$分别为原始问题和对偶问题的最优解，且$d^{\ast }=p^{\ast }=\mathcal{L}(x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })$。

定理描述的这类优化问题一定满足强对偶性。

KKT条件：

设函数$f(x),g_i(x)$是凸函数，$h_j(x)$是仿射函数，不等式约束是严格可行的，则$x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$分别为原始问题和对偶问题的最优解$⟺$$x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$满足Karush-Kuhn-Tucker(KKT)条件：
1. ∇ x L ( x ∗ ; μ ∗ , λ ∗ ) = 0 2. λ i ∗ ≥ 0 f o r i = 1 , . . . , k 3. λ i ∗ g ( x ∗ ) = 0 f o r i = 1 , . . . , k 4. g i ( x ∗ ) ≤ 0 f o r i = 1 , . . . , k 5. h ( x ∗ ) = 0 \begin{aligned} &1.\nabla_{x}\mathcal{L}(x^*;\boldsymbol{\mu}^*,\boldsymbol{\lambda}^*)=0\\ &2.\lambda_i^*\geq0 for i=1,...,k\\ &3.\lambda_i^*g(x^*)=0 for i=1,...,k\\ &4.g_i(x^*)\leq0 for i=1,...,k\\ &5.\boldsymbol{h}(x^*)=0 \end{aligned} ​1.∇x​L(x∗;μ∗,λ∗)=02.λi∗​≥0fori=1,...,k3.λi∗​g(x∗)=0fori=1,...,k4.gi​(x∗)≤0fori=1,...,k5.h(x∗)=0​

即约束优化问题的最优性条件，只不过这里是对上述定理中的优化问题描述了一遍。

强对偶性$\iff$ KKT条件：

设$x^{\ast }$为原始问题的最优解，${\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$为对偶问题的最优解，若满足强对偶性，则$x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$满足 KKT 条件，相反地，若满足KKT条件，则满足强对偶性。

证明：

$$\begin{array}{rl}{d}^{\ast }& =\underset{\mathbf{\mu },\mathbf{\lambda };\mathbf{\lambda }\ge 0}{\max }{\theta }_D(\mathbf{\mu },\mathbf{\lambda })={\theta }_D({\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })=\underset{x}{\min }\mathcal{L}(x,{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })\\ & \le \mathcal{L}(x^{\ast },{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })=f(x^{\ast })+\sum _{j=1}^l{\mu }_j{h}_j(x^{\ast })+\sum _{i=1}^k{\lambda }_i{g}_i(x^{\ast })\\ & =f(x^{\ast })+\sum _{i=1}^k{\lambda }_i{g}_i(x^{\ast })\le f(x^{\ast })=p^{\ast }\end{array}$$

(1)若$d^{\ast }=p^{\ast }$，则上式不等式全为等式，
$$f(x^{\ast })+\sum _{i=1}^k{\lambda }_i{g}_i(x^{\ast })=f(x^{\ast })\Rightarrow \sum _{i=1}^k{\lambda }_i{g}_i(x^{\ast })=0\Rightarrow {\lambda }_i{g}_i(x^{\ast })=0\forall i$$
$$\underset{x}{\min }\mathcal{L}(x,{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })=\mathcal{L}(x^{\ast },{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })\Rightarrow {\nabla }_x\mathcal{L}(x^{\ast };{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })=0$$
推得KKT条件1、3，其他条件为可行性条件。

(2)若KKT条件成立，(1)中箭头反向亦成立，上式不等式全为等式，推得$d^{\ast }=p^{\ast }$。

凸优化+Slater条件$\Rightarrow$强对偶性：

若原始问题为凸优化问题，且满足slater条件，则存在$x^{\ast },{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$使得$x^{\ast }$为原始问题最优解，${\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }$为对偶问题最优解，且满足$d^{\ast }=p^{\ast }=\mathcal{L}(x^{\ast },{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast })$。

注：
Slater条件：至少存在一点$x\in relint\Omega s.t.g_i(x)<0,i=1,...,k$，其中$relint\Omega$表示可行域$\Omega$的相对内部（除去边界的部分）。

放松的slater条件：若$g_i(x)$中有一部分是仿射函数($m$个)，只需其余$k-m$个函数满足$x\in relint\Omega s.t.g_i(x)<0$。

• 对于大多数凸优化问题，slater条件是成立的。