深入理解凸优化核心理论：对偶

一、Lagrange函数与Lagrange对偶函数

1-Lagrange函数

Lagrange函数是微积分就了解的基础概念,简单复盘一下，考虑一个熟悉的优化问题,（不一定是一个凸优化问题）
$$\begin{gathered} \min f_0(x) \\ s.t.f_i(x)\le 0i=1...m \\ {h}_i(x)=0i=1...p \end{gathered}$$
这个优化问题的定义域为$x\in R^{n}D={\cap }_{i=0}^{m}dom{f}_i\cap {\cap }_{i=1}^{p}dom{h}_i$，即所有限制条件与优化函数定义域的交集，假设目标函数最小的函数值为$p^{\ast }$，我们得到Lagrange函数
$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$$
该函数是一个三变量的函数，其中$x$是自变量和上面一样，$\lambda$是一个$m$维的向量，即不等式约束的维数，每个${\lambda }_i$称之为与不等式约束相关的拉格朗日乘子。而$\nu$是一个$p$维的向量，与等式约束的维数一样，${\nu }_i$称之为与等式约束相关的拉格朗日乘子。当然这些函数可能都是一些很一般的函数，我们只是对他们进行了线性的加权，并不能构造出很好的函数形式。

2-Lagrange对偶函数

对偶函数定义为如下形式：
$$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )$$
即给定任意的$(\lambda ,\nu )$，我们任意的选择$x\in D$，使得拉格朗日函数的值取得最小。此时我们发现，该函数已经与$f_0(x)$的凸性无关了，这变成了一个关于拉格朗日乘子$(\lambda ,\nu )$的函数。对偶函数有几个非常重要而且好用的性质：

1. 拉格朗日对偶函数一定是凹函数，且其凹性与最优化函数和约束函数无关。证明放在appendix A中
2. $\forall \lambda \ge 0,\forall \nu ,g(\lambda ,\nu )\le p\ast$。即选择任意$\lambda \ge 0$和$\nu$，$g$的函数值不可能大于原优化问题的最优解，即构成了原问题最优值的下界？最优值下界的证明放在appendix B中。

二、三个实例理解对偶与其性质

1-线性约束得二次优化问题

首先来考虑一个具有线性约束的二次优化问题：
$$\begin{gathered} \min X^{T}X \\ s.t.AX=b \\ X\in R^{n}b\in R^{n}A\in R^{p\ast n} \end{gathered}$$
$$拉格朗日函数：\mathbf{L}(\mathbf{X},\nu )={\mathbf{X}}^{\mathbf{T}}\mathbf{X}+{\nu }^{\mathbf{T}}(\mathbf{A}\mathbf{X}-\mathbf{b})$$
$$对偶函数：\mathbf{g}(\nu )=\underset{\mathbf{X}\in \mathbf{D}}{\inf }\mathbf{L}(\mathbf{X},\nu )=\underset{\mathbf{X}\in \mathbf{D}}{\inf }{\mathbf{X}}^{\mathbf{T}}\mathbf{X}+{\nu }^{\mathbf{T}}\mathbf{A}\mathbf{X}-{\nu }^{\mathbf{T}}\mathbf{b}$$
在这里面求最小值的话我们只需要对$X$求个偏导，得到$2X+A^T\nu =0$，那么$X=-\frac{A^T\nu }{2}$，将其带回，使得对偶函数完全变成一个$\nu$的函数。
$$\mathbf{g}(\nu )=\frac{{\nu }^{\mathbf{T}}\mathbf{A}{\mathbf{A}}^{\mathbf{T}}\nu }{4}-\frac{{\nu }^{\mathbf{T}}\mathbf{A}{\mathbf{A}}^{\mathbf{T}}\nu }{2}-{\nu }^{\mathbf{T}}\mathbf{b}=-\frac{{\nu }^{\mathbf{T}}\mathbf{A}{\mathbf{A}}^{\mathbf{T}}\nu }{4}-{\mathbf{b}}^{\mathbf{T}}\nu$$
注意$b,\nu$都是向量，所以内积总是常数，可以随便转置。也就是说我们将优化问题转化成了这个对偶函数，而该函数是一个凹函数，因为$-A{A}^T$一定是一个半负定的矩阵。

---

2-线性规划问题

考虑线性规划问题：
$$\begin{gathered} \min c^{T}x \\ s.t.Ax-b=0 \\ -x\le 0 \end{gathered}$$
注意不等式约束一定要写成$\le 0$的形式。
$$拉格朗日函数：\mathbf{L}(\mathbf{x},\lambda ,\nu )={\mathbf{c}}^{\mathbf{T}}\mathbf{x}-{\lambda }^{\mathbf{T}}\mathbf{x}+{\nu }^{\mathbf{T}}(\mathbf{A}\mathbf{x}-\mathbf{b})=-{\mathbf{b}}^{\mathbf{T}}\nu +(\mathbf{c}+{\mathbf{A}}^{\mathbf{T}}-\lambda {)}^{\mathbf{T}}\mathbf{x}$$
$$对偶函数：\mathbf{g}(\lambda ,\nu )=\underset{\mathbf{x}\in \mathbf{D}}{\inf }\mathbf{L}(\mathbf{x},\lambda ,\nu )$$
当$-b^T\nu +(c+A^T-\lambda {)}^{T}x$一次项的系数等于0的时候，这个函数的最小值是$-b^{T}x$，否则我们总能使得这个函数的值取得$-\infty$，因为在对偶函数里我们已经将原约束优化问题转化成了单独的一个函数，$x$是$R^n$上随便取得。因此对偶函数实际上是一个分段函数
$$\begin{gathered} -b^T\nu ,A^T-\lambda +c=0 \\ -\infty ,otherwise \end{gathered}$$
$A^T-\lambda +c=0$显然是一个超平面，而这整个函数可以看作$,A^T-\lambda +c=0$对应函数在全空间上的凹扩展，在这个超平面上取值固定，既凸又凹，因此总体是凹函数。

---

3-非凸函数，非凸限制

最后我们来看一个非凸函数，非凸限制得优化问题
$$\begin{gathered} \min x^{T}Wx \\ s.t.x_i^2-1=0,i=1...m \end{gathered}$$
$$拉格朗日函数：\mathbf{L}(\mathbf{x},\lambda ,\nu )={\mathbf{x}}^{\mathbf{T}}\mathbf{W}\mathbf{x}+\sum _{\mathbf{i}=1}^{\mathbf{n}}{\nu }_{\mathbf{i}}({\mathbf{x}}_{\mathbf{i}}^2-1)$$
将这个函数进行一步转化得到：$L(x,\lambda ,\nu )=x^T(W+Diag(\nu ))x-1^T\nu$
$$对偶函数：\mathbf{g}(\lambda ,\nu )=\underset{\mathbf{x}\in \mathbf{D}}{\inf }{\mathbf{x}}^{\mathbf{T}}(\mathbf{W}+\mathbf{D}\mathbf{i}\mathbf{a}\mathbf{g}(\nu ))\mathbf{x}-1^{\mathbf{T}}\nu$$
那么我们对这个对偶函数进行一波分析，当该二次型得系数矩阵半正定时，这个函数能取到得最小值一定是$1^T\nu$，否则，前一项一定可以使得这个函数得最小值取到$-inf$。也就是说，这个函数是一个分段函数
$$\begin{gathered} -1^T\nu ,W+Diag(\nu )⪰0 \\ -\infty ,otherwise \end{gathered}$$
那么我们只需要证明$W+Diag(\nu )$是一个凸集即可。这个利用$f(\theta {\nu }_1)+(1-\theta )f({\nu }_2)\le \theta f({\nu }_1)+(1-\theta )f{\nu }_2)$即可证明。

---

三、对偶函数与共轭函数的联系

1-共轭函数

共轭函数在凸优化中有着非常重要的作用，是理解对偶的必不可少的元素。在书中，它被定义为
$$f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$$
其中，$f:R^n\to R，f^{\ast }:R^n\to R$，$f^{\ast }$称为$f$的共轭函数。也就是说，共轭函数是线性函数$y^{T}x$与原始函数$f(x)$的最大gap.

2-二者的联系

二者的去别主要在于$inf,sup$这两个操作上，我们知道$inff(x)=-sup-f(x)$，因此举几个常规的例子来看一看写出来的共轭函数和对偶函数区别到底在哪里。最简单的：
$$\begin{gathered} \min f(x) \\ s.t.x=0 \end{gathered}$$
写出他的对偶函数$\inf (x)+v^{T}x;domL\in domf\times R^n$

他等价于$-\sup (-v^{T}x-f(x))$这就变成共轭函数的形式即$-{\mathbf{f}}^{\ast }(-\mathbf{v})$（$x$并不是变量$v$才是），其实对于任意一个函数的对偶函数，我们通过如上形式都可以将它变为以拉格朗日乘子为变量的共轭函数，

---

四、对偶问题与原问题

1-概念，定义以及重要性质

有了上述的对偶函数，我们知道对偶函数的最优解是原问题的最优值下界，那么我们就能得到两个定义：对偶问题（D：dual）与原问题（P：primary）

$$\begin{gathered} (D)\max g(\lambda ,\nu ) \\ s.t.\lambda ⪰0 \end{gathered}$$
注意如果原问题有不等式约束，那么对偶问题种一定有$\lambda ⪰0$的约束条件。他的最优值记为$d^{\ast }$，原问题记为
$$\begin{gathered} (P)\min f_0(x) \\ s.t.f_i(x)\le 0i=1,...,m \\ {b}_i(x)=0i=1,...,p \end{gathered}$$
原问题的最优解为$p^{\ast }$,根据最优值下界我们有
$$d^{\ast }\le p^{\ast }$$
我们关注两个问题：

• 这个最优值下界好像没有什么意义，比如说我说你最少活2年，这显然是没有意义的，一定要给一个确界才比较好，比如能活100年。这表现在对偶问题中就是$p^{\ast }=d^{\ast }$，如何能达到这一点是我们需要考虑的
• 我们知道对偶问题一定是一个凸问题，但是对偶问题的对偶问题不一定是原问题（同共轭函数的性质），非凸问题的对偶问题的对偶问题依然不会是非凸的，那么是么时候我们可以使得某个问题的对偶问题的对偶是它自身，这是第二个需要考虑的问题。

2-强对偶与弱对偶

• 我们定义对偶间隙为原问题的最优解与对偶问题的最优解的差$p^{\ast }-d^{\ast }$（因为$d^{\ast }$是最优值下界，此值一定不小于0）
• 强对偶：如果等式$d^{\ast }=p^{\ast }$，即对偶间隙等于0，那么强对偶性成立。
• 弱对偶：对偶问题一般都具有的性质，只要满足$d^{\ast }<p^{\ast }$即可。

3-强对偶性何时成立以及slate充分条件

$$\text{相对内部(Relative interior)}$$
首先我们需要给出集合$D$的相对内部(Relative interior)，记作$\mathbf{r}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{n}\mathbf{t}D$，他定义如下：
r e l i n t    D = { x ∈ D ∣ B ( x , r ) ∩ a f f D ∈ D , ∃ r > 0 } \mathbf{relint} \;D=\{x\in D|B(x,r)\cap\mathbf{aff} D\in D,\exist r>0\} relintD={x∈D∣B(x,r)∩affD∈D,∃r>0}
这个概念其实很简单，我们分为三部分来理解它

• 首先$x\in D$，表示了所有元素都在$D$内部。
• $B(x,r)\cap \mathbf{a}\mathbf{f}\mathbf{f}D\in D$表示以$x$为中心，我们能找到一个半径为$r$的圆，他和$D$的仿射包的交集依然在$D$的内部。
  
  可以看到上面，只有在边界上的时候，我们任取一个$x$，找不到半径使得仿射集和圆的交集在$D$内，其实相对内部的定义即去掉该集合的边界。

---

$$\text{slate条件}$$
slate条件回答了什么时候我们可以得到$p^{\ast }=d^{\ast }$，这是一个充分条件，不满足时对偶问题的最优解也可能是一个下确界，它的定义如下：

对于一般问题，强对偶性不成立。但是如果当原问题是凸问题，即写为：
$$\begin{gathered} \min f_0(x) \\ s.t.f_i(x)\le 0i=1...m \\ Ax=b, \end{gathered}$$
其中$f_i(x)$是凸函数，此时强对偶性通常（但不总是）成立的（即原问题是凸问题，它的对偶问题一般都具有强对偶性）。 必要的时候我们可以使用强对偶性成立的充分条件进行判断：

存在一点$x\in \mathbf{r}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{n}\mathbf{t}D$使得下列等式成立：
$$f_i(x)<0,i=1,...,mAx=b$$
即不仅满足等式约束，而且所有的不等式约束都小于0，去掉了等于0的情况。但是这时候我们要找到这样一个$x$来验证是非常难的，因此我们有了更弱一点的slate条件。

---

$$\text{弱slate条件}$$
如果原问题是一个凸问题，而且不等式约束全部为仿射约束时，只要可行域非空，必有$p^{\ast }=d^{\ast }$。当不等式约束中存在仿射不等式时，这些仿射不等式不需要严格成立（即他们不需要<0,$\le 0$即可），只要我们能找到一个$x\in \mathbf{r}\mathbf{e}\mathbf{l}\mathbf{i}\mathbf{n}\mathbf{t}D$使得所有非仿射不等式严格成立，这个条件依然是可行的。

---

Appendix A：证明：对偶函数一定是凹函数，且其凹性与最优化函数和约束函数无关

如果了解保凸运算，那么我们知道函数的逐点上确界一定是一个凸函数，给定下列函数
$$L(\lambda ,\nu )=\underset{x\in D}{\sup }{f}_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$$
即对每个$(\lambda ,\nu )$我们求一个$x$使得函数值最大，这样的函数叫做逐点上确界。而我们现在的函数，是关于$(\lambda ,\nu )$的线性函数，线性函数也是凸函数，那如果是求最小呢，就变成了仿射函数的下确界问题，是一个凹函数。我们给出详细的推导过程：

参考自：https://blog.csdn.net/u014540876/article/details/79153913

要证对偶函数一定是凹函数，根据凹函数的定义，就是要证
$$g(\theta {\lambda }_1+(1-\theta ){\lambda }_2,\theta {\nu }_1+(1-\theta ){\nu }_2)\ge \theta g({\lambda }_1,{\nu }_1)+(1-\theta )g({\lambda }_2,{\nu }_2)\theta \in R$$
根据对偶函数的定义可知，对偶函数是拉格朗日函数在把$\lambda$和$\nu$当做常量，$x$变化时的最小值，如果拉格朗日函数没有最小值（可以认为最小值为$-\infty$)，则对偶函数取值为$-\infty$，所以，可以把对偶函数按照下面的方式表达：

即无穷多个x变化时，拉格朗日函数的最小值。另外，由于把λ和ν分开来写，式子太长了，为了简便，记$\gamma =(\lambda ,\nu )$，那么我们有

我们关注一下$L$这个函数，他是一个关于$\lambda ,\nu$的线性函数，因此既是凸的也是凹的，利用凸性我们可以得到$L(x,\theta {\gamma }_1+(1-theta){\gamma }_2)\ge \theta L(x,{\gamma }_1)+(1-\theta )L(x,{\gamma }_2)$，因此我们可以得到上式大于等于：

对min函数，我们有一个基本不等式${\min }_{i=1}^n(a+b)\ge {\min }_{i=1}^n(a)+{\min }_{i=1}^n(b)$，其中 a = { a 1 , . . . a n } , b = { b 1 , . . . , b n } a=\{a_1,...a_n\},b=\{b_1,...,b_n\} a={a1​,...an​},b={b1​,...,bn​}都是向量。那么我们进一步化简上式得到：

所以原命题得证。

---

Appendix B：证明：对偶函数为最优值下界

我们之前假设的$p\ast$为原优化问题的最优解，也即全局最小，设此时自变量值为$x^{\ast }$。那么对于任意的$\lambda \ge 0$和$\nu$，我们有$$L(x^{\ast },\lambda ,\nu )=f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)\le p^{\ast }$$
原因很简单，因为$f_i(x)$都是不等式约束，而我们的不等式约束都要小于0，而等式约束都等于0，即${\sum }_{i=1}^m{\lambda }_i{f}_i(x)+{\sum }_{i=1}^p{\nu }_i{h}_i(x)\le 0$，那么也就是给$f_0(x^{\ast })$加上了一个非正项。而我们的对偶函数，
$$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )$$
因为$x^{\ast }$总是在定义域里的，所以最小化这个值等价于最小化$L(x^{\ast },\lambda ,\nu )=f_0(x^{\ast })+{\sum }_{i=1}^m{\lambda }_i{f}_i(x)+{\sum }_{i=1}^p{\nu }_i{h}_i(x)\le p^{\ast }$。得证

拿两个书上的图加深理解