[凸优化]2-对偶与最优性条件

第二章 对偶与最优性条件

标准形式优化问题

$$\begin{array}{rl}\underset{x}{\min }& f_0(x)\\ s.t.& f_i(x)\le 0,i=1,2,\cdots ,m\\ & h_i(x)=0,i=1,2,\cdots ,p\\ & x\in D\end{array}$$

• 目标函数$f_0:{\mathbb{R}}^n\to \mathbb{R}$
• 不等式约束函数$f_i:{\mathbb{R}}^n\to \mathbb{R},i=1,2,\cdots ,m$
• 等式约束函数$h_i:{\mathbb{R}}^n\to \mathbb{R},i=1,2,\cdots ,p$
• $D=({\bigcap }_{i=0}^{m}dom{f}_i)\cap ({\bigcap }_{i=1}^{p}dom{h}_i)$非空
• 最优值$p^{\ast }$

拉格朗日对偶

• 对不等式约束$f_i(x)\le 0$引入拉格朗日乘子${\lambda }_i$，对等式约束引入拉格朗日乘子${\upsilon }_i$。记$\lambda =[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_{,}{]}^T\in {\mathbb{R}}^m,\upsilon =[{\upsilon }_1,{\upsilon }_2,\cdots ,{\upsilon }_p{]}^T\in {\mathbb{R}}^p$

• 拉格朗日函数：$L:{\mathbb{R}}^n\times {\mathbb{R}}^m\times {\mathbb{R}}^p\to \mathbb{R}$，

  $$L(x,\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\upsilon }_i{h}_i(x),domL=D\times {\mathbb{R}}^m\times {\mathbb{R}}^p$$

• 拉格朗日对偶函数：$g:{\mathbb{R}}^m\times {\mathbb{R}}^p\to \mathbb{R}$，
  $$g(\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon )=\underset{x\in D}{\inf }L(x,\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon )=\underset{x\in D}{\inf }[f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\upsilon }_i{h}_i(x)]$$

定理 1：拉格朗日对偶函数$g(\lambda ,\upsilon )=\underset{x\in D}{\inf }L(x,\lambda ,\upsilon )$是凹函数

定理 2：对任意的$\lambda \ge 0$和$\upsilon$，对偶函数$g(\lambda ,\upsilon )$是优化问题最优值$p^{\ast }$的下界，即$\forall \lambda \ge 0,g(\lambda ,\upsilon )\le p^{\ast }$。

推论：$p^{\ast }\ge \underset{\lambda \ge 0}{\max }g(\lambda ,\upsilon )$，即$p^{\ast }\ge \underset{\lambda \ge 0}{\max }\underset{x\in D}{\min }L(x,\lambda ,\upsilon )$

拉格朗日对偶问题:

$$\begin{array}{rl}\underset{\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon }{\max }& g(\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon )\\ s.t.& \lambda \text{λ}\lambda \ge 0\end{array}$$

• 对偶可行解$(\lambda ,\upsilon )$需满足：$\lambda \ge 0$且$(\lambda ,\upsilon )\in domg$
• 拉格朗日对偶问题是凸优化问题
  • $({\lambda }^{\ast },{\upsilon }^{\ast })$：对偶最优解或最优拉格朗日乘子
  • 最优值$d^{\ast }$

弱对偶与强对偶

• 对于任意的函数优化问题，$\underset{x\in D}{\inf }\underset{\lambda \ge 0}{\sup }L(x,\lambda ,\upsilon )\ge \underset{\lambda \ge 0}{\sup }\underset{x\in D}{\inf }L(x,\lambda ,\upsilon )$成立
• 弱对偶（Weak Duality）：$d^{\ast }\le p^{\ast }$，即$\underset{\lambda \ge 0}{\max }\underset{x\in D}{\min }L(x,\lambda ,\upsilon )\le \underset{x\in D}{\min }\underset{\lambda \ge 0}{\max }L(x,\lambda ,\upsilon )$
  • 总是成立
  • 最优对偶间隙：$p^{\ast }-d^{\ast }\ge 0$
• 强对偶（Strong Duality）：$d^{\ast }=p^{\ast }$，即$\underset{\lambda \ge 0}{\max }\underset{x\in D}{\min }L(x,\lambda ,\upsilon )=\underset{x\in D}{\min }\underset{\lambda \ge 0}{\max }L(x,\lambda ,\upsilon )$
  • 一般情况下不成立
  • 对凸优化问题成立（通常）

强对偶性和 Slater’s 约束品性

• Slater 约束品性：存在集合$D$的一个内点$x_0$，使得$f_i(x_0)<0(i=1,2,\cdots ,m),A{x}_0=b$
• 凸优化问题，若 Slater 约束品性满足，则强对偶性成立

几何解释

最优性条件

1. 原问题

   $$\begin{array}{rl}\underset{x}{\min }& f_0(x)\\ s.t.& f_i(x)\le 0,i=1,2,\cdots ,m\\ & h_i(x)=0,i=1,2,\cdots ,p\\ & x\in D\end{array}$$

2. 对偶问题
   $$\begin{array}{rl}\underset{\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon }{\max }& g(\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon )\\ s.t.& \lambda \text{λ}\lambda \ge 0\end{array}$$

• 原问题可行解$x$与对偶可行解$(\lambda ,\upsilon )$的对偶间隙$ϵ=f_0(x)-g(\lambda ,\upsilon )$，此时称$x$是$ϵ$-次优的，即

  $$f_0(x)-p^{\ast }\le f_0(x)-g(\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon )\Rightarrow f_0(x)-p^{\ast }\le ϵ$$

• 一对原问题可行解 𝑥 与对偶可行解$(\lambda ,\upsilon )$将原问题（对偶问题）的最优解限制在一个区间上，即

  $$p^{\ast }\in [g(\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon ),f_0(x)],d^{\ast }\in [g(\lambda \text{λ}\lambda ,\upsilon \text{υ}\upsilon ),f_0(x)]$$

• 非启发式停止准则：令可行解$x^k$及对偶可行解$({\lambda }^k,{\upsilon }^k),k=1,2,\cdots$，绝对精度${ϵ}_{abs}>0$，停止准则
  $$f_0(x)-g({\lambda \text{λ}\lambda }^k,{\upsilon \text{υ}\upsilon }^k)\le {ϵ}_{abs}$$

Karush-Kuhn-Tucker(KKT)方程

假设原问题与对偶问题最优解可取得，分别为$x^{\ast }$和$({\lambda }^{\ast },{\upsilon }^{\ast })$，且强对偶性成立，则

$$\begin{array}{rl}{f}_0(x^{\ast })& =g({\lambda \text{λ}\lambda }^{\ast },{\upsilon \text{υ}\upsilon }^{\ast })\\ & =\underset{x\in D}{\min }{f}_0(x)+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x)+\sum _{i=1}^p{\upsilon }_i^{\ast }{h}_i(x)\\ & =f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x)+\sum _{i=1}^p{\upsilon }_i^{\ast }{h}_i(x)\\ & =f_0(x^{\ast })\end{array}$$

根据如上推导过程，可以得到如下KKT 方程：

$$\begin{array}{rl}{f}_i(x^{\ast })\le 0,& i=1,2,\cdots ,m\\ {\lambda }_i^{\ast }{f}_i(x^{\ast })=0,& i=1,2,\cdots ,m\\ {\lambda }_i^{\ast }\ge 0,& i=1,2,\cdots ,m\\ h_i(x^{\ast })=0,& i=1,2,\cdots ,p\\ \nabla f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+& \sum _{i=1}^k{\upsilon }_i^{\ast }\nabla h_i(x^{\ast })=0\end{array}$$

• 对于目标函数和约束函数可微的任意优化问题，若强对偶性成立（对偶间隙为 0），则任意一 对原问题最优解和对偶问题最优解必须满足 KKT 条件。
• 目标函数和约束函数可微的任意凸函数问题，任意满足 KKT 条件的点分别是原、对偶最优解且对偶间隙为零
• 若对偶间隙为 0，则解凸优化问题等价于解相应的 KKT 方程
• 定理：若$\tilde{x},\tilde{\lambda },\tilde{\upsilon }$满足凸优化问题的 KKT 条件，则$\tilde{x},(\tilde{\lambda },\tilde{\upsilon })$分别是原问题和对偶问题的最优解且对偶间隙为 0

通过解对偶问题求解原问题

假设：强对偶性成立且$x^{\ast }$是原问题的最优解，$({\lambda }^{\ast },{\upsilon }^{\ast })$为对偶问题的最优解，则

• 对于凸优化问题，若$L(x,{\lambda }^{\ast },{\upsilon }^{\ast })$是$x$的严格凸函数，拉格朗日函数$L(x,{\lambda }^{\ast },{\upsilon }^{\ast })$关于$x$求极小值时在$x^{\ast }$处取得最小值，下列优化问题的解唯一
  $$\underset{x\in D}{\min }{f}_0(x)+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x)+\sum _{i=1}^p{\upsilon }_i^{\ast }{h}_i(x)$$

强弱对偶性的极大极小描述

• 极大极小不等式：对于任意函数$f:{\mathbb{R}}^n\times {\mathbb{R}}^m\to \mathbb{R}$以及任意的$W\subseteq {\mathbb{R}}^n$和$Z\subseteq {\mathbb{R}}^m$，有

  $$\underset{z\in Z}{\sup }\underset{w\in W}{\inf }f(w,z)\le \underset{w\in W}{\inf }\underset{z\in Z}{\sup }f(w,z)$$

• 若上式等号成立，则称$f$（以及$W$和$Z$）满足强极大极小性质或者鞍点性质

• 鞍点：若$\forall w\in W,z\in Z,f(\tilde{w},z)\le f(\tilde{w},\tilde{z})\le f(w,\tilde{z})$，则称$\tilde{w}\in W,\tilde{z}\in Z$是函数$f$的鞍点

• 如果$x^{\ast }$和$({\lambda }^{\ast },{\upsilon }^{\ast })$分别是原问题和对偶问题的最优解且强对偶性成立，则它们是拉格朗日函数的一个鞍点

• 反过来，如果$x^{\ast }$和$({\lambda }^{\ast },{\upsilon }^{\ast })$是拉格朗日函数$L(x,\lambda ,\upsilon )$的一个鞍点，那么$x^{\ast }$是原问题的最优解，$({\lambda }^{\ast },{\upsilon }^{\ast })$是对偶问题的最优解，且对偶间隙为零。

支撑向量机：Support Vector Machines(SVM)

参考文章支持向量机（SVM）——原理篇 - 知乎 (zhihu.com)