最优化方法(学习笔记)-第五章对偶

Lagrange dual problem拉格朗日对偶问题

拉格朗日函数

传统的最优化形式[$\min f_0(x)$]，不仅要求$x\in D$，且要求$x$满足约束条件$f_i(x)\le 0(i=1,..,m)或者h_i(x)=0(i=1,..,p)$

因为满足约束条件不好解，所有引入拉格朗日乘子，形成了

拉格朗日函数
$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$

• 形式=目标函数+带权约束函数
• $x\in D=R^n，\lambda \in R^m，\nu \in R^p，L\in R^n\times R^m\times R^p，且对\lambda 和\nu 无限值，domL=D\times R^m\times R^p$
• 于是${\lambda }_i\backsim f_i\le 0，{\nu }_i\backsim h_i=0$

拉格朗日对偶问题

最优化形式：求极值时，求导数为0的点还要满足约束条件；
拉格朗日形式：求极值时，约束条件就包含在定义域D内
$D=dom{f}_0\bigcap {\cap }_{i=1}^{m}dom{f}_i\bigcap {\cap }_{i=1}^{p}dom{h}_i$

• 线性函数：$sup/inf是保凹函数，max/min是保凸函数$
• $g:R^m\times R^p\to R$
• 对偶形式就是函数g关于L取到下确界的过程，无论L是否是凸函数，g必定是凹函数
• 因为$f_0+\sum {\lambda }_i{f}_i+\sum {\nu }_i{h}_i$对$\lambda$是线性函数，可以是保凸，也可以是保凹，加上$\inf$是保凹函数，所以除非L对$(x,\lambda ,\nu )$都是凸函数，否则g对$(\lambda ,\nu )$只是是凹函数

拉格朗日对偶形式
$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )=\underset{x\in D}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))$

• $g(\lambda ,\nu )$是凹函数，极大值唯一，可能无下界（对某些取值的乘子$\lambda ,\nu$，$g$取到$-\infty$）
• 下界(lower bound) 的性质：$if\lambda \ge 0⟹p^{\ast }\ge g(\lambda ,\nu )$
  证明：
  若$\tilde{x}$是在可行域内(既是定义域D内又符合约束条件)，且$\lambda \ge 0$
  那么就有：$f_0(\tilde{x})\ge L(\tilde{x},\lambda ,\nu )\ge \underset{x\in D}{\inf }L(x,\lambda ,\nu )\ge g(\lambda ,\nu )$

对偶函数的例子

拉格朗日对偶函数的出现，是因为满足定义域之后仍然受到约束条件，这种情况下极值不一定取得到，于是换成求极值的界(bound)

最小二范数的线性方程Least-norm solution of linear equations

• 问题描述及转变：
  $\{\begin{array}{l}min{x}^{T}x\\ s.t.Ax=b\end{array}⟺L(x,\nu )=x^{T}x+{\nu }^T(Ax-b)$
• 令拉格朗日函数$L(x,\nu )对x$的导数为0：${\nabla }_{x}L(x,\nu )=2x+A^T\nu =0⟹x=-(1/2)A^T\nu$
• 将极值点$x$代入回拉格朗日对偶函数$g(\nu )$：$g(\nu )=\underset{x\in D}{\inf }L(x,\nu )=L(-(1/2)A^T\nu ,\nu )=-(1/4){\nu }^{T}A{A}^T\nu -b^T\nu$，对于$\nu$是个凹函数
• 于是得到下界的性质(对于所有的$\nu$)：$p^{\ast }\ge -(1/4){\nu }^{T}A{A}^T\nu -b^T\nu$

标准的线性规划standard form LP

• 问题描述及转变：
  $\{\begin{array}{l}min{c}^{T}x\\ s.t.Ax=b(x\ge 0)\end{array}⟺L(x,\lambda ,\nu )=c^{T}x+{\nu }^T(Ax-b)-{\lambda }^{T}x=-b^T\nu +(c+A^T\nu -\lambda {)}^{T}x$
• 拉格朗日函数$L(x,\nu )是x$的仿射函数(线性)，所以导数和自变量无关，只需要讨论斜率即可
  $g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )=\{\begin{array}{l}-b^T\nu A^T\nu -\lambda +c=0[x\ge 0]\\ -\infty otherwise\end{array}$
• 对于仿射的定义域 { ( λ , ν ) ∣ A T ν − λ + c = 0 } \{(\lambda,\nu)|A^T\nu-\lambda+c=0\} {(λ,ν)∣ATν−λ+c=0}来讲，线性函数$g$也是个凹函数
• 于是得到下界的性质(对于所有的$\nu$)：$p^{\ast }\ge -b^T\nu [if{A}^T\nu +c=\lambda \ge 0]$

等式约束的范数极小化Equality constrained norm minimization

• 引入对偶范数和共轭函数
  对偶范数的定义：$||\nu |{|}_{\ast }={\sup }_{||u||\le 1}{u}^T\nu$
  范数函数的定义：$f(x)=||x||=x^{T}x$
  一般原函数是以x为自变量，求y值；共轭函数是以斜率为自变量，求y轴上截距值【见第三章】
  共轭函数：$f^{\ast }(y)={\sup }_x(y^{T}x-f(x))={\sup }_x(y^{T}x-||x||)$（凸函数）
  证明：$if||y|{|}_{\ast }\le 1，then{\inf }_x(||x||-y^{T}x)=0$
  • $if||y|{|}_{\ast }\le 1,\forall ||z||\le 1⟹y^{T}z\le 1$
    所以：$(y^{T}x-||x||)=||x||(y^T\frac{x}{||x||}-1)\le 0$
    等号在$x=0$时，$f^{\ast }(y)=0$
  • $if||y|{|}_{\ast }>1,令x=tu(\exists ||u||\le 1)⟹u^{T}y=||y|{|}_{\ast }>1$
    所以：$(||x||-y^{T}x)=t(||u||-y^{T}u)=t(||u||-||y|{|}_{\ast })\stackrel{t\to \infty }{\to }-\infty$
  • $f^{\ast }(y)={\sup }_x(y^{T}x-||x||)=\{\begin{array}{l}0||y|{|}_{\ast }\le 1\\ +\infty ||y|{|}_{\ast }>1\end{array}$
• 问题描述及转变：
  $\{\begin{array}{l}min||x||\\ s.t.Ax=b\end{array}⟺g(\nu )=\underset{x\in D}{\inf }L(x,\nu )=\underset{x\in D}{\inf }(||x||+{\nu }^T(b-Ax))$
  若采用$Ax-b$进行处理也是可以的，那么最后的结果也是$-b^T\nu$，这个符号不影响这个下确界的确定，求解的本质是为了找到$\nu$的取值范围
• 分类讨论斜率的临界条件得到：
  $g(\nu )\stackrel{{\nu }^{T}b=b^T\nu }{=}\underset{x\in D}{\inf }(||x||-{\nu }^{T}Ax+b^T\nu )=\{\begin{array}{l}{b}^T\nu ||A^T\nu |{|}_{\ast }\le 1⟺(1-||A^T\nu |{|}_{\ast })\ge 0[x=0]\\ -\infty otherwise\end{array}$
• 于是得到下界的性质(对于所有的$\nu$)：$p^{\ast }\ge b^T\nu [if||A^T\nu |{|}_{\ast }\le 1]$

双向划分问题Two-way partitioning

• 问题描述及转变：
  $\{\begin{array}{l}min{x}^{T}Wx\\ s.t.x_i^2=1(i=1,..,n)\end{array}⟺g(\nu )=\underset{x\in D}{\inf }(x^{T}Wx+\sum _{i=1}^n{\nu }_i(x_i^2-1))$
  • 这是一个非凸问题，可行域集里有$2^n$个离散点(每个点取1或者-1)
  • $x^{T}Wx=\sum _{i,j}{x}_i{W}_{ij}{x}_j，W_{ij}表示i和j$分到相同标记的代价
  • $diag(\nu )是\nu 里元素的对角阵，可取\nu =-{\lambda }_{min}(W)\ast 1$
• 分类讨论对称矩阵得到：
  $g(\nu )\stackrel{1^T\in R^n(横向量)}{=}\underset{x\in D}{\inf }(x^T(W+diag(\nu ))x-1^T\nu )=\{\begin{array}{l}-1^T\nu W+diag(\nu )\ge 0\\ -\infty otherwise\end{array}$
• 于是得到下界的性质(对于所有的$\nu$)：$p^{\ast }\ge -1^T\nu [ifW+diag(\nu )\ge 0]$
  例如：$\nu =-{\lambda }_{min}(W)\ast 1⟹p^{\ast }\ge n{\lambda }_{min}(W)$

拉格朗日对偶和共轭函数

• 问题描述及转变：
  $\{\begin{array}{l}min{f}_0(x)\\ s.t.Ax\le b,Cx=d\end{array}⟺g(\lambda ,\nu )=\underset{x\in dom{f}_0}{\inf }(f_0(x)+(A^T\lambda +C^T\nu {)}^{T}x-b^T\lambda -d^T\nu )$
• 引入共轭函数
  $g(\lambda ,\nu )=-\underset{x\in dom{f}_0}{\sup }([-(A^T\lambda +C^T\nu {)}^T]x-f_0(x))-b^T\lambda -d^T\nu$
  其中共轭函数$f^{\ast }(y)=\underset{x\in dom{f}_0}{\sup }(y^{T}x-f(x))$
  这里认为$y=-(A^T\lambda +C^T\nu )$
  所以$g(\lambda ,\nu )=-f_0^{\ast }(-A^T\lambda -C^T\nu )-b^T\lambda -d^T\nu$
• 例子：熵求极值
  • $f(x)=x\log (x),设F(x,y)=y^{T}x-x\log x$
  • 对x求导,并令导数值为0
    ${\partial }_{x}F(x,y)=y-(\log x+\frac{x\ast 1}{x})=y-1-\log x=0$
  • 得到极值点$x=e^{y-1}$
  • 于是代入到$F$得到：
    $F^{\ast }(x,y)=y{e}^{y-1}-e^{y-1}\log (e^{y-1})=y{e}^{y-1}-(y-1)e^{y-1}=e^{y-1}（仅含y的函数）$
  • 推广到：$f_0(x)=\sum _{i=1}^n{x}_i\log x_i⟹f_0^{\ast }(y)=\sum _{i=1}^n{e}^{y_i-1}$

对偶问题

目的：当$\lambda \ge 0$时，求解原问题的最优解$p^{\ast }$可能很难，于是转化为求解拉格朗日对偶问题的极值$d^{\ast }$，这样比较容易求得次优解$d^{\ast }$，因为$p^{\ast }\ge d^{\ast }$，要使得$d^{\ast }$不断逼近$p^{\ast }$，所以将对$d^{\ast }=g(\lambda ,\nu )$不断取较大值（唯一最大值）。

• 拉格朗日对偶问题
  $\{\begin{array}{l}\max g(\lambda ,\nu )\\ s.t.\lambda \ge 0\end{array}$
  max是保凸运算，$\lambda \ge 0$是凸集，所以对偶问题变成凸问题
• 从拉格朗日对偶函数中，找到$p^{\ast }$的最好下界
• 这转变为凸优化问题，最优值用$d^{\ast }$表示
• $\lambda \ge 0$时，$(\lambda ,\nu )\in domg$
• 当$g$有其他限制的时候，需要显式化对偶问题的条件
• 例子：标准LP问题
  $\{\begin{array}{l}min{c}^{T}x\\ s.t.Ax=b(x\ge 0)\end{array}⟺\{\begin{array}{l}max-b^T\nu \\ s.t.A^T\nu +c\ge 0\end{array}$

弱对偶和强对偶

• 弱对偶：$d^{\ast }\le p^{\ast }$
  无论是否凸问题，这个不等式都成立
  可以找到一个平凡nontrivial下确界
• 强对偶：$d^{\ast }=p^{\ast }$
  一般问题不成立，但是对凸问题一般成立
  找到规范约束条件，保证凸问题中强对偶成立

几何解释geometric interpretation

简单的，只考虑单限制条件(仅$f_1(x)\le 0$)的LP问题
设 g ( λ ) = inf ⁡ ( u , t ) ∈ G ( t + λ u ) ， G = { ( f 1 ( x ) , f 0 ( x ) ) ∣ x ∈ D } ， t ∽ f 0 , u ∽ f 1 ≤ 0 g(\lambda)=\inf\limits_{(u,t)\isin G}{(t+\lambda u)}，G=\{(f_1(x),f_0(x))|x\isin D\}，t\backsim f_0,u\backsim f_1\leq 0 g(λ)=(u,t)∈Ginf​(t+λu)，G={(f1​(x),f0​(x))∣x∈D}，t∽f0​,u∽f1​≤0

• 定义域G内只有$u\le 0$的部分可以取
• 超平面$g(\lambda )=\lambda u+t与t$轴相交的点值就是$g(\lambda )(潜在的d^{\ast })$
• 函数的自变量就是斜率$\lambda$，利用超平面的平移得到$g(\lambda )(潜在的d^{\ast })$,所以$\lambda$只能往$g(\lambda )\le p^{\ast }$的方向取
  
• 考虑何时$p^{\ast }=d^{\ast }$？
  • 画出定义域G的凸包，得到凸集的定义域，那么有可能得到强对偶条件
    
  • G可以进行延拓：点集变化的方向不影响最终结果值
    G ′ = A = { ( u , t ) ∣ f 1 ( x ) ≤ u , f 0 ( x ) ≤ t , x ∈ D } G'=A=\{(u,t)|f_1(x)\leq u,f_0(x)\leq t,x\isin D\} G′=A={(u,t)∣f1​(x)≤u,f0​(x)≤t,x∈D}
    • $u\backsim f_1<0$才对结果有影响，所以$u往u>0$方向延拓没有影响
    • $t\backsim f_0取inf$，所以$t往t>0$方向延拓没有影响

分割约束条件Slater’s constraint qualification

最优化问题（$\min f_{0}s.t{f}_i\le 0,i=1,..,m,Ax=b$）
能够保证强对偶成立，需要满足严格可行域(相对内点)的要求：
$\exists x\in intD:f_i(x)<0,i=1,..,m,Ax=b$

• 若$p^{\ast }>-\infty$，那么总能保证对偶问题的最优解$p^{\ast }$可取到
• 相对内点($RelintD\backsim$相对仿射弧的内点 { x ∈ A f f C ∣ B ( x , r ) ∩ A f f C ∈ C , r > 0 } \{x\isin Aff_C|B(x,r)\cap Aff_C\isin C,r>0\} {x∈AffC​∣B(x,r)∩AffC​∈C,r>0})可以取代定义域$intD$【这里仍有存疑】
• 线性不等式可以不必$f_i(x)<0$
• 存在多种其他规范约束条件

结论：Slater规范约束条件$⟺$强对偶

不等约束的LP问题

Primal-P原问题：$\{\begin{array}{l}\min c^{T}x\\ s.t.Ax\le b\end{array}$
dual-F对偶函数：$g(\lambda )=\underset{x}{\inf }(c+A^T\lambda {)}^{T}x-b^T\lambda =\{\begin{array}{l}-b^T\lambda A^T\lambda +c=0\\ -\infty otherwise\end{array}$
dual-P对偶问题：$\{\begin{array}{l}\max -b^T\lambda \\ s.t.A^T\lambda +c=0,\lambda \ge 0\end{array}$
若某些$\tilde{x}使得A\tilde{x}<b$，根据Slater条件可知$p^{\ast }=d^{\ast }$
或者当原问题和对偶问题都不可解时，也有$p^{\ast }=d^{\ast }$

二次规划问题

假设$P\in S_{++}^n$正定对称矩阵
Primal-P原问题：$\{\begin{array}{l}\min x^{T}Px\\ s.t.Ax\le b\end{array}$
dual-F对偶函数：$g(\lambda )=\underset{x}{\inf }(x^{T}Px+{\lambda }^T(Ax-b))=-\frac{1}{4}{\lambda }^{T}A{P}^{-1}{A}^T\lambda -b^T\lambda$
dual-P对偶问题：$\{\begin{array}{l}\max -\frac{1}{4}{\lambda }^{T}A{P}^{-1}{A}^T\lambda -b^T\lambda \\ s.t.\lambda \ge 0\end{array}$
若某些$\tilde{x}使得A\tilde{x}<b$，根据Slater条件可知$p^{\ast }=d^{\ast }$
事实上，总存在$p^{\ast }=d^{\ast }$

KKT条件与广义不等式

互补松弛性complementary slackness

假设强对偶成立$p^{\ast }=d^{\ast }$，$x^{\ast }$是原问题的最优解，$({\lambda }^{\ast },{\nu }^{\ast })$是对偶问题的最优解
$p^{\ast }=f_0(x^{\ast })=d^{\ast }=g({\lambda }^{\ast },{\nu }^{\ast })=\underset{x}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x^{\ast })+\sum _{i=1}^p{\nu }_i^{\ast }{h}_i(x^{\ast }))$
$\le f_0(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{f}_i(x^{\ast })+\sum _{i=1}^p{\nu }_i^{\ast }{h}_i(x^{\ast })$
$\stackrel{h_i=0,{\lambda }_i{f}_i<0}{\to }\le f_0(x^{\ast })$

• 所以$x^{\ast }是L(x,{\lambda }^{\ast },{\nu }^{\ast })$的极小值点
• 互补松弛性条件：${\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,...,m$
  • ${\lambda }_i^{\ast }>0⟹f_i(x^{\ast })=0$（说明边界可取）
  • $f_i(x^{\ast })<0⟹{\lambda }_i^{\ast }=0$（限制条件$f_i$可不存在）

KKT条件optimality conditions

当限制条件$f_i,h_i$可导时，满足以下四个条件就是KKT条件

• 原问题$f_i(x)\le 0,i=1,...,m；h_i(x)=0,i=1,..,p$
• 具有互补松弛性：${\lambda }_i{f}_i(x)=0,i=1,..,m$
• 拉格朗日函数对x的导数为0：$\nabla f_0(x)+\sum _{i=1}^m{\lambda }_i\nabla f_i(x)+\sum _{i=1}^p{\nu }_i\nabla h_i(x)=0$
• 对偶问题约束：$\lambda \ge 0$

KKT条件是一般对偶问题的必要条件：
强对偶，且$x,\lambda ,\nu$都是最优$⟹$满足KKT条件

凸问题的KKT条件

若是凸问题，那么$\tilde{x},\tilde{\lambda },\tilde{\nu }$满足KKT条件$⟺$强对偶成立且$\tilde{x},\tilde{\lambda },\tilde{\nu }$是凸问题最优解

• 若$\lambda \ge 0$，那么$L(x,\tilde{\lambda },\tilde{\nu })$是凸函数
• $\tilde{x}$在原可行域内,且是L函数的一个极值点，所以$g(\tilde{\lambda },\tilde{\nu })=L(x,\tilde{\lambda },\tilde{\nu })$
• 因为满足互补松弛性，所以$f_0(\tilde{x})=g(\tilde{\lambda },\tilde{\nu })$
  所以有$f_0(x)\ge p^{\ast }\ge g(\tilde{\lambda },\tilde{\nu })$
  当不等式变成等式时，就是原问题最优解和对偶问题最优解一致的情况$d^{\ast }=p^{\ast }$

二次规划

设$P\in S_{+}^n，\{\begin{array}{l}\min \frac{1}{2}{x}^{T}Px+q^{T}x+r\\ s.t.Ax=b\end{array}$
$L=\frac{1}{2}{x}^{T}Px+q^{T}x+r+\nu (Ax-b)$
KKT条件：拉格朗日函数L求导极值＋限制条件
$\{\begin{array}{l}P{x}^{\ast }+q+A^T{\nu }^{\ast }=0\\ A{x}^{\ast }=b\end{array}$
$\left[\begin{array}{cc}P& A^T\\ A& 0\end{array}\right]\left[\begin{array}{c}{x}^{\ast }\\ {\nu }^{\ast }\end{array}\right]=\left[\begin{array}{c}-q\\ b\end{array}\right]$

注水问题

设${\alpha }_i>0,\lambda \in R^n,\nu \in R，\{\begin{array}{l}\min -\sum _{i=1}^n\log (x_i+{\alpha }_i)\\ s.t.x\ge 0,1^{T}x=1\end{array}$
$L=-\log (x+\alpha )+\lambda (-x)+\nu (1^{T}x-1)$
$-log$是凸函数，KKT条件：互补松弛性+拉格朗日函数求导极值

• $x\ge 0,1^{T}x=1,{\lambda }_i\ge 0，{\lambda }_i{x}_i=0,i=1,..,m$
• $-\frac{1}{x+\alpha }-\lambda +\nu =0⟹\lambda =\nu -\frac{1}{x+\alpha }\ge 0$
  • $\nu <\frac{1}{\alpha }:x=\frac{1}{\nu }-\alpha >0,\lambda =0$
  • $\nu \ge \frac{1}{\alpha }:x=0,\lambda =\nu -\frac{1}{\alpha }$
  • 解$\tilde{x}，\{\begin{array}{l}{x}_i=\{\begin{array}{ll}1/\nu -{\alpha }_i& {\alpha }_i\le 1/\nu \\ 0& {\alpha }_i>1/\nu \end{array}=\max (0,1/v-{\alpha }_i)\\ 1^{T}x=\sum _{i=1}^n\max (0,1/\nu -{\alpha }_i)=1\end{array}$

扰动与敏感性分析Perturbation and sensitivity analysis

扰动后的原问题和对偶问题
$\{\begin{array}{l}min{f}_0(x)\\ s.t.\\ f_i(x)\le u_i,i=1,...,m\\ h_i(x)=v_i,i=1,..,p\end{array}⟹\{\begin{array}{l}maxg(\lambda ,\nu )-u^T\lambda -v^T\nu \\ s.t.\lambda \ge 0\end{array}$

• x是原变量，u,v是参数
• $p^{\ast }(u,v)$为扰动后的极小值

全局分析

假设不受扰动的问题满足强对偶条件，且${\lambda }^{\ast },{\nu }^{\ast }$是未扰动问题的最优解
对扰动问题应用弱对偶条件$g=d^{\ast }\le p^{\ast }$：
$p^{\ast }(u,v)\ge g({\lambda }^{\ast },{\nu }^{\ast })-u^T{\lambda }^{\ast }-v^T{\nu }^{\ast }=p^{\ast }(0,0)-u^T{\lambda }^{\ast }-v^T{\nu }^{\ast }$
由${\lambda }^{\ast },{\nu }^{\ast }$大小及$u,v$正负性可定性分析最优值的大小变化

• 当$u_i<0,{\lambda }^{\ast }\to +\infty$，那么$p^{\ast }$会增大很多
• 当$u_i>0,{\lambda }^{\ast }\to 0$，那么$p^{\ast }$不会下降很多
• 当$\{\begin{array}{l}{\nu }_i\to +\infty ,v_i<0\\ {\nu }_i\to -\infty ,v_i>0\end{array}$，那么$p^{\ast }$会增大很多
• 当$\{\begin{array}{l}{\nu }_i\to +0,v_i>0\\ {\nu }_i\to -0,v_i<0\end{array}$，那么$p^{\ast }$不会下降很多

局部分析

假设$p^{\ast }(u,v)在(0,0)$处可导
${\lambda }_i^{\ast }=-\frac{\partial p^{\ast }(0,0)}{\partial u_i}$，${\nu }_i^{\ast }=-\frac{\partial p^{\ast }(0,0)}{\partial v_i}$（通过左右夹逼证明）

类似这样的图像（只有一个$f_i$不等式约束的优化问题）

对偶问题等价变形

对原问题进行简单的等价变形可能会得到非常不一样的对偶问题，应用在传统的对偶问题难求解的情况下

引入新变量和等式约束

假设原问题是$min(f_0(Ax+b))$，那么对偶问题是$g=inf(L(x))=inf(f_0(Ax+b))=p^{\ast }$
虽有强对偶条件，但是没有用

• 转换原问题和对偶问题
  $\{\begin{array}{l}\min f_0(y)\\ s.t.Ax+b-y=0\end{array}⟹\{\begin{array}{l}\max b^T\nu \\ s.t.A^T\nu =0,||\nu |{|}_{\ast }\le 1\end{array}$
  对偶函数：$g(\nu )=\underset{x,y}{\inf }(f_0(y)+{\nu }^T(Ax+b-y))$
  $=\underset{x,y}{\inf }(f_0(y)-{\nu }^{T}y+{\nu }^{T}Ax+b^T\nu )=\{\begin{array}{ll}-f_0^{\ast }(\nu )+b^T\nu & A^T\nu =0\\ -\infty & otherwise\end{array}$
• 例：范数逼近
  $\{\begin{array}{l}\min ||y||\\ s.t.Ax-b=y\end{array}⟹\{\begin{array}{l}\max b^T\nu -f_0^{\ast }(\nu )\\ s.t.A^T\nu =0\end{array}$
  对偶函数：$g(\nu )=\underset{x,y}{\inf }(||y||+{\nu }^T(y+b-Ax))$
  $=\underset{x,y}{\inf }(||y||+{\nu }^{T}y-{\nu }^{T}Ax+b^T\nu )=\{\begin{array}{ll}{b}^T\nu +\underset{y}{\inf }(||y||+{\nu }^{T}y)& A^T\nu =0\\ -\infty & otherwise\end{array}$
  $=\{\begin{array}{ll}{b}^T\nu & A^T\nu =0,||\nu |{|}_{\ast }\le 1\\ -\infty & otherwise\end{array}$

隐式约束或者显式约束

例子是定义域带限制的线性规划
$\{\begin{array}{l}\min c^{T}x\\ s.t.Ax=b,-1\le x\le 1\end{array}⟹\{\begin{array}{l}\max -b^T\nu -1^T{\lambda }_1-1^T{\lambda }_2\\ s.t.\{\begin{array}{l}c+A^T\nu +{\lambda }_1-{\lambda }_2=0\\ {\lambda }_1\ge 0,{\lambda }_2\ge 0\end{array}\end{array}$

• 转换原函数
  $\{\begin{array}{l}\min f_0(x)=\{\begin{array}{ll}{c}^{T}x& -1\le x\le 1\\ \infty & otherwise\end{array}\\ s.t.Ax=b\end{array}$
• 对偶函数
  $g(\nu )=\underset{-1\le x\le 1}{\inf }(c^{T}x+{\nu }^T(Ax-b))=-b^T\nu -||A^T\nu +c|{|}_1$
• 所以对偶问题
  $\max (-b^T\nu -||A^T\nu +c|{|}_1)$

转换目标/限制函数

e.g.将$f_0(x)用递增的凸函数\varphi 替换：\varphi (f_0(x))$

带广义不等式的问题

$\{\begin{array}{l}\min f_0(x)\\ s.t\{\begin{array}{l}{f}_i(x){⪯}_{K_i}0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}\end{array}on{R}^{k_i}$

• ${\lambda }_i\in R^{k_i}\backsim f_i(x){⪯}_{K_i}0$
• 拉格朗日函数L：$R^n\times R^{k_1}\times ...\times R^{k_m}\times R^p\to R$
  $L(x,{\lambda }_1,..,{\lambda }_m,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i^T{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$
• 对偶函数g：$R^{k_1}\times ...\times R^{k_m}\times R^p\to R$
  $g({\lambda }_1,..,{\lambda }_m,\nu )=\underset{x\in D}{\inf }L(x,{\lambda }_1,..,{\lambda }_m,\nu )$
• 下确界的性质：${\lambda }_i{⪰}_{K_i^{\ast }}0⟹g({\lambda }_1,..,{\lambda }_m,\nu )\le p^{\ast }$
• 对偶问题：满足弱对偶（一般问题）$d^{\ast }\le p^{\ast }$；或者强对偶（带规范约束条件的凸问题->Slater/原问题的内点集）$d^{\ast }=p^{\ast }$
  $\{\begin{array}{l}\max g({\lambda }_1,..,{\lambda }_m,\nu )\\ s.t.{\lambda }_i{⪰}_{K_i^{\ast }}0,i=1,...,m\end{array}$

总结

• 拉格朗日对偶函数
  • 定义：将标准形式的优化问题转成对偶问题考虑
    将优化问题转化为线性函数，$x$满足定义域$D=dom{f}_0\bigcap {\cap }_{i=1}^{m}dom{f}_i\bigcap {\cap }_{i=1}^{p}dom{h}_i$之后，不需要再考虑限制条件
    拉格朗日函数：$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$
    拉格朗日对偶形式：$g(\lambda ,\nu )=\underset{x}{\inf }L(x,\lambda ,\nu )$
  • 最优值的下界：对偶函数构成了原问题最优值的下确界
    对偶形式是为了求出一个极值的下界lower bound：$if\lambda \ge 0⟹p^{\ast }\ge g(\lambda ,\nu )$
  • 对偶函数的例子
    • 线性方程组的最小二乘解
      $g(\nu )=\underset{x\in D}{\inf }L(x,\nu )=\inf (x^{T}x+{\nu }^T(Ax-b))=-(1/4){\nu }^{T}A{A}^T\nu -b^T\nu$
    • 标准形式的线性规划
      $g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )=\inf (c^{T}x+{\nu }^T(Ax-b)-{\lambda }^{T}x)$
      $=\inf (-b^T\nu +(c+A^T\nu -\lambda {)}^{T}x)=\{\begin{array}{l}-b^T\nu A^T\nu -\lambda +c=0\\ -\infty otherwise\end{array}$
    • 等式约束条件下的范数极小化
      $g(\nu )=\underset{x\in D}{\inf }L(x,\nu )=\underset{x\in D}{\inf }(||x||+{\nu }^T(b-Ax))=\{\begin{array}{l}{b}^T\nu ||A^T\nu |{|}_{\ast }\le 1\\ -\infty otherwise\end{array}$
    • 双向划分问题
      $g(\nu )\stackrel{1^T\in R^n(横向量)}{=}\underset{x\in D}{\inf }(x^T(W+diag(\nu ))x-1^T\nu )=\{\begin{array}{l}-1^T\nu W+diag(\nu )\ge 0\\ -\infty otherwise\end{array}$
  • 拉格朗日对偶函数与共轭函数
    $g(\lambda ,\nu )=\underset{x\in dom{f}_0}{\inf }(f_0(x)+(A^T\lambda +C^T\nu {)}^{T}x-b^T\lambda -d^T\nu )$
    $=-\underset{x\in dom{f}_0}{\sup }([-(A^T\lambda +C^T\nu {)}^T]x-f_0(x))-b^T\lambda -d^T\nu$
    $=-f_0^{\ast }(-A^T\lambda -C^T\nu )-b^T\lambda -d^T\nu$
• 对偶问题
  • 对偶问题定义
    对偶函数：$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )=\underset{x\in D}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))$
    对偶问题：凸优化问题$\{\begin{array}{l}\max g(\lambda ,\nu )\\ s.t.\lambda \ge 0\end{array}$
  • 弱对偶与强对偶
    弱对偶：$d^{\ast }\le p^{\ast }$；强对偶：$d^{\ast }=p^{\ast }$
  • 图形解释：通过单限制条件(仅$f_1(x)\le 0$)的LP问题来对弱对偶和强对偶问题进行直观阐述
  • Slater约束准则：Slater条件严格可行与对于仿射函数约束的改善
    Slater规范约束条件$⟺$强对偶
    • 例：不等约束的LP问题
      $\{\begin{array}{l}\min c^{T}x\\ s.t.Ax\le b\end{array}⟹\{\begin{array}{l}\max -b^T\lambda \\ s.t.A^T\lambda +c=0,\lambda \ge 0\end{array}$
      某些$\tilde{x}使得A\tilde{x}<b$，根据Slater条件可知$p^{\ast }=d^{\ast }$
    • 例：二次规划问题
      $\{\begin{array}{l}\min x^{T}Px\\ s.t.Ax\le b\end{array}⟹\{\begin{array}{l}\max -\frac{1}{4}{\lambda }^{T}A{P}^{-1}{A}^T\lambda -b^T\lambda \\ s.t.\lambda \ge 0\end{array}$
      若某些$\tilde{x}使得A\tilde{x}<b$，根据Slater条件可知$p^{\ast }=d^{\ast }$
• KKT条件与广义不等式
  • 互补松弛性：${\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,...,m$
    • ${\lambda }_i^{\ast }>0⟹f_i(x^{\ast })=0$（说明边界可取）
    • $f_i(x^{\ast })<0⟹{\lambda }_i^{\ast }=0$（限制条件$f_i$可不存在）
  • KKT条件：强对偶成立且函数可微时，原函数与对偶函数限制条件+互补松弛性+函数$L(x,{\lambda }_i^{\ast },{\nu }_i^{\ast })$在极值点$x^{\ast }$导数为0，即构成KKT条件
  • 对于凸问题，$x^{\ast },({\lambda }^{\ast },{\nu }^{\ast })$满足KKT条件$⟺$强对偶成立且$x^{\ast },({\lambda }^{\ast },{\nu }^{\ast })$是最优解
    • 例：QP问题
      $\{\begin{array}{l}P{x}^{\ast }+q+A^T{\nu }^{\ast }=0\\ A{x}^{\ast }=b\end{array}$
    • 例：注水
      $\{\begin{array}{l}{\lambda }_i\ge 0，{\lambda }_i{x}_i=0\\ -\frac{1}{x_i+{\alpha }_i}-{\lambda }_i+{\nu }_i=0\\ 1^{T}x=1\end{array}$
  • 扰动与敏感性分析：对原问题的约束条件做扰动，判断对$p^{\ast }$的影响，$p^{\ast }(u,v)$为扰动后的极小值
    • 全局分析
      全局有$p^{\ast }(u,v)\ge p^{\ast }(0,0)-u^T{\lambda }^{\ast }-v^T{\nu }^{\ast }$，由${\lambda }^{\ast },{\nu }^{\ast }$大小及$u,v$正负性可定性分析最优值的大小变化
    • 局部分析
      $({\lambda }^{\ast },{\nu }^{\ast })$与$p^{\ast }$在$u=0,v=0$处的梯度有关
  • 对原问题进行简单的等价变形可能会得到非常不一样的对偶问题
    • 引入新变量和相应等式约束
      $min(f_0(Ax+b))⟹\{\begin{array}{l}\min f_0(y)\\ s.t.Ax+b-y=0\end{array}$
      $⟹\{\begin{array}{l}\max b^T\nu \\ s.t.A^T\nu =0,||\nu |{|}_{\ast }\le 1\end{array}$
    • 进行隐式约束：将约束条件加到目标函数中，约束被违背时，函数值为无穷大
      $\{\begin{array}{l}\min c^{T}x\\ s.t.Ax=b,-1\le x\le 1\end{array}$
      $⟹\{\begin{array}{l}\max -b^T\nu -1^T{\lambda }_1-1^T{\lambda }_2\\ s.t.\{\begin{array}{l}c+A^T\nu +{\lambda }_1-{\lambda }_2=0\\ {\lambda }_1\ge 0,{\lambda }_2\ge 0\end{array}\end{array}$
  • 广义不等式：类似原问题只含数值不等式的情形
    $\{\begin{array}{l}\min f_0(x)\\ s.t\{\begin{array}{l}{f}_i(x){⪯}_{K_i}0,i=1,...,m\\ h_i(x)=0,i=1,...,p\end{array}\end{array}on{R}^{k_i}$
    $⟹\{\begin{array}{l}\max g({\lambda }_1,..,{\lambda }_m,\nu )\\ s.t.{\lambda }_i{⪰}_{K_i^{\ast }}0,i=1,...,m\end{array}$

Reference

总结
凸优化PPT