凸优化第四章——对偶问题

Lagrange对偶函数

Lagrange函数

对于标准形式的优化问题：

$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & f_i(x)\le 0,i=1,...,m\\ & & & h_i(x)=0,i=1,...,p\end{array}$$
$D={\bigcap }_{i=1}^{m}dom{f}_i\cap {\bigcap }_{i=1}^{p}dom{h}_i$，注意$D$不是可行域，而是各个函数的定义域的交集。

定义该问题的Langrange函数为：

$L(x,\lambda ,\nu )=f_0(x)+{\sum }_{i=1}^m{\lambda }_i{f}_i(x)+{\sum }_{i=1}^p{\nu }_i{h}_i(x),domL=D\times R^m\times R^p$。

$\lambda$和$\nu$称为对偶变量或原问题的Lagrange乘子向量。

Lagrange对偶函数

$g(\lambda ,\nu )=\underset{\mathbf{x}\in \mathbf{D}}{\mathbf{inf}}({\mathbf{f}}_0(\mathbf{x})+{\sum }_{\mathbf{i}=1}^{\mathbf{m}}{\lambda }_{\mathbf{i}}{\mathbf{f}}_{\mathbf{i}}(\mathbf{x})+{\sum }_{\mathbf{i}=1}^{\mathbf{p}}{\nu }_{\mathbf{i}}{\mathbf{h}}_{\mathbf{i}}(\mathbf{x}))$

性质1：$g(\lambda ,\nu )$是仿射函数的逐点下确界，因此无论原问题是不是凸问题，对偶函数一定是凹函数。进一步地，对偶问题一定是凸优化问题。

性质2：设原问题的最优值为$p^{\ast }$，即$p^{\ast }=\underset{\mathbf{x}\in \mathbf{D}}{\mathbf{inf}}{\mathbf{f}}_0(\mathbf{x})$，则对于任意$\lambda ⪰0$和$\nu$，有$g(\lambda ,\nu )\le p^{\ast }$。

对偶问题

$$\begin{array}{rlrl}maximize& & & g(\lambda ,\nu )\\ subjectto& & & \lambda ⪰0\end{array}$$

由于对偶函数一定是凹函数，因此对偶问题一定是凸优化问题。

对偶函数和共轭函数

共轭函数（conjugate）

定义

设函数$f:R^n\to R$，则其共轭函数$f^{\ast }:R^n\to R$为$f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$。$y^{T}x-f(x)$在$domf$有上界的所有$y\in R^n$构成了$f^{\ast }$的定义域。

性质1：不论$f$是否为凸，其共轭函数$f^{\ast }$一定是凸函数。因为它是关于$y$的仿射函数的逐点上确界。

性质2：如果$f$是凸函数且$f$是闭的（$f$是闭的即$epif$是闭集），则$f^{\ast \ast }=f$

对偶范数

$||x||$的对偶范数为$||x|{|}_{\ast }=\underset{||y||\le 1}{\sup }{y}^{T}x$

范数的共轭函数

$$\begin{array}{r}{f}^{\ast }(y)=\{\begin{array}{ll}0,& ||y|{|}_{\ast }\le 1\\ +\infty ,& otherwise\end{array}\end{array}$$

例1

考虑一个具有线性不等式以及等式约束的优化问题：
$$\begin{array}{rlrl}minimize& & & f_0(x)\\ subjectto& & & Ax⪯b\\ & & & Cx=d\end{array}$$
其对偶函数为：
$$\begin{array}{r}g(\lambda ,\nu )=-b^T\lambda -d^T\nu -f_0^{\ast }(-A^T\lambda -C^T\nu )\\ domg=\{(\lambda ,\nu )|-A^T\lambda -C^T\nu \in dom{f}_0^{\ast }\}\end{array}$$

例2

考虑问题：
$$\begin{array}{rlrl}minimize& & & ||x||\\ subjectto& & & Ax=b\end{array}$$
其对偶问题为：
$$\begin{array}{r}g(\nu )=\{\begin{array}{ll}-b^T\nu ,& \parallel A^{T}v{\parallel }_{\ast }\le 1\\ -\infty ,& otherwise\end{array}\end{array}$$

强对偶性和Slater条件

强对偶性

原问题和对偶问题的最优值相同，即对偶间隙为零。

相对内部

r e l i n t   S = { x ∈ S ∣ B ( x , r ) ∩ a f f   S ∈ S , ∃ r > 0 } relint\ S = \{x\in S|B(x,r)\cap aff\ S\in S,\exist r>0\} relint S={x∈S∣B(x,r)∩aff S∈S,∃r>0}

$x\in relintS$，则$x$是集合$S$的一个相对内点

说明：如下图所示，二维空间内，圆的相对内部就是一个去了皮的圆；线段的相对内部就是去掉两个端点

Slater条件

设原问题为凸优化问题，可行域为$D$，若存在一点$x\in relintD$使得

$f_i(x)<0,i=1,...,m$，$Ax=b$成立，那么强对偶性成立。

弱化的Slater条件

当部分$f_i(x)$为仿射函数时，设$f_i(x),i=1,...,n$是仿射的，$f_i(x),i=n+1,...,m$不是仿射的，则Slater条件可以弱化为：

设原问题为凸优化问题，可行域为$D$，若存在一点$x\in relintD$使得

$f_i(x)<0,i=n+1,...,m$，$Ax=b$成立，那么强对偶性成立。

因此，线性规划问题的强对偶性一定成立。

Slater条件是充分不必要条件

KKT最优性条件

基本要求

1. 目标函数和约束函数可微；
2. 强对偶性成立。

KKT条件

5条：

非凸问题（必要不充分）

对于任意优化问题，如果强对偶性成立，那么其任意一对原问题最优解和对偶问题最优解一定满足KKT条件。

凸问题（充要）

对于凸优化问题：

1. 如果强对偶性成立，那么其任意一对原问题最优解和对偶问题最优解一定满足KKT条件；
2. 若存在$(x,\lambda ,\nu )$满足KKT条件，那么它们就是原问题和对偶问题的最优解且对偶间隙为零。