凸优化之强弱对偶性与Slater准则

弱对偶性

$\text{Lagrange}$ 对偶问题的最优值, 我们用 $d^{\star }$ 表示, 根据定义, 这是通过 $\text{Lagrange}$ 函数 得到的原问题最优值 $p^{\star }$ 的最好下界(即最大下界). 特别地, 我们有下面简单但是非常重要的不等式 $d^{\star }⩽p^{\star }(\text{primal dual})$,
即使原问题不是凸问题, 上述不等式亦成立. 这个性质称为弱对偶性.
即使当 $d^{\star }$ 和 $p^{\star }$ 无限时, 弱对偶性不等式也成立. 例如, 如果原问题无下界, 即 $p^{\star }=-\infty$, 为了保证弱对偶性成立, 必须有 $d^{\star }=-\infty$, 即 $\text{Lagrange}$ 对偶问题不可行. 反过来, 若对偶问题无上界, 即 $d^{\star }=\infty$, 为了保证弱对偶性成立, 必须有 $p^{\star }=\infty$,即原问题不可行.
定义差值 $p^{\star }-d^{\star }$ 是原问题的最优对偶间隙. 它给出了原问题最优值以及通过 $\text{Lagrange}$ 对偶函数所能得到的最好（最大）下界之间的差值. 最优对偶间隙总是非负的.
当原问题很难求解时, 弱对偶不等式可以给出原问题最优值的一个下界, 这是因为对偶问题总是凸问题, 而且在很多情况下都可以进行有效的求解得到 $d^{\star }$.
如果等式 $d^{\star }=p^{\ast }$ 成立, 即最优对偶间隙为零, 那么强对偶性成立. 这说明从 $\text{Lagrange}$ 对偶函数得到的最好下界是紧的.

$x\in \mathbf{r}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{n}\mathbf{t}\mathcal{D}$

强对偶性和 $\text{Slater}$ 约束准则

如果等式
$d^{\star }=p^{\ast }$
成立, 即最优对偶间隙为零, 那么强对偶性成立. 这说明从 $\text{Lagrange}$ 对偶函数得到的
对于一般情况, 强对偶性不成立. 但是, 如果原问题是凸问题, 即可以表述为如下形式

$$\begin{array}{llc}\text{minimize}& f_0(x)& \\ \text{subject to}& f_i(x)⩽0,i=1,\cdots ,m,& \\ & Ax=b,& \end{array}$$

其中, 函数 $f_0,\cdots ,f_m$ 是凸函数, 强对偶性通常（但不总是）成立. 有很多研究成果给出了强对偶性成立的条件 (除了凸性条件以外). 这些条件称为约束准则. 一个简单的约束准则是 $\text{Slater}$ 条件: 存在一点 $x\in \mathbf{r}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{n}\mathbf{t}\mathcal{D}$ 使得下式成立

$$\begin{array}{rl}{f}_i(x)& <0,i=1,\cdots ,m,\\ Ax& =b\end{array}$$

即在可行域 $\mathcal{D}$的内部不等式严格成立,仿射等式成立.
满足上述条件的点有时称为严格可行, 这是因为不等式约束严格成立. $\text{Slater}$ 定理说明, 当 $\text{Slater}$ 条件成立 (且原问题是凸问题）时, 强对偶性成立.

当不等式约束函数 $f_i$ 中有一些是仿射函数时, $\text{Slater}$ 条件可以进一步改进. 如果最前面的 $k$ 个约束函数 $f_1,\cdots ,f_k$ 是仿射的, 则若下列弱化的条件成立, 强对偶性成立. 该条件为: 存在一点 $x\in \mathbf{r}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{n}\mathbf{t}\mathcal{D}$ 使得

$$\begin{array}{rl}{f}_i(x)& ⩽0,i=1,\cdots ,k,\\ f_i(x)& <0,i=k+1,\cdots ,m,\\ Ax& =b\end{array}$$

换言之, 在可行域 $\mathcal{D}$的内部, 仿射不等式不需要严格成立. 注意到当所有约束条件都是线性等式或不等式且 $\text{dom}{f}_0$ 是开集时, 改进的 $\text{Slater}$ 条件就是可行性条件.