Convex optimization 4.1 --- Lagrange Dual Problem

1 Introduction

1.1 对偶原理

对偶问题是凸优化的关键，原问题可能因为约束比较复杂，不容易求解，或者不满足凸优化条件，采用对偶处理后，是凹函数。问题是对偶处理的原理是什么？[1]
$$\{\begin{array}{rl}& min{f}_0(x),x\in R^n\\ & sub{f}_1(x)\le 0\end{array}$$
采用二维空间几何描述$(f_0(x),f_1(x))$,u表示$f_1(x)$,t表示$f_0(x)$,集合表示为 G = { ( u , t ) , u ≤ 0 } G=\{ (u, t),u\leq0 \} G={(u,t),u≤0}.
对于最优解$p^{\ast }$,有
p ∗ = i n f { t ∣ ( u , t ) ∈ G , u ≤ 0 } p^*=inf \{ t| (u,t)\in G, u \leq 0 \} p∗=inf{t∣(u,t)∈G,u≤0}

拉格朗日对偶采用类似于求集合超平面的方式:
$$g(\lambda )=inf(\lambda u+t),\lambda >0$$
$\exists (u,t)\in G,使得\lambda u+t-b=0$,在上面这个图像上，可能会有三种情况。

其中$b_{max}$和$p^{\ast }$最接近。求$b_{max}$的过程和之前学过的求共轭函数原理上非常相似。
什么时候$b_{max}$和$p^{\ast }$相等？
当原问题是一个凸优化问题，则满足强对偶条件。

几何上理解了对偶的原理后，再推广到弱对偶条件就容易理解了。对于一般的优化问题
$$\{\begin{array}{rlr}& min& f_0(x),x\in R^n\\ & sub& f_i(x)\le 0,i=1,...m\\ & & h_i(x)=0,i=1,...,p\end{array}$$
定义对偶形式,设$t=f_0(x),\mu =[f_1(x),...,f_m(x){]}^T,\upsilon =[h_1(x),...,h_p(x){]}^T$
$$\begin{array}{rl}g(\lambda ,\nu )& =t+{\lambda }^T\mu +{\nu }^T\upsilon \\ & =(\lambda ,\nu ,1{)}^T(\mu ,\upsilon ,t)\end{array}$$

$(\lambda ,\nu ,1)$定义了集合$G(\mu ,\upsilon ,t)$的超平面，所以有
$$(\lambda ,\nu ,1{)}^T(\mu ,\upsilon ,t)\ge g(\lambda ,\nu )$$
一般定义$\lambda >0,考虑\mu <0,\upsilon =0$,有
$$p^{\ast }=t\ge (\lambda ,\nu ,1{)}^T(\mu ,\upsilon ,t)\ge g(\lambda ,\nu )$$
满足了弱对偶条件。

1.2 对偶的性质

对偶有两个重要的性质[2]
1）$g(\lambda ,\nu )$是凹函数(不论原问题是否是凸函数)；
2）$g(\lambda ,\nu )<p\ast$,对于任意$\lambda >0,\nu$都成立；
对于性质1，$t+{\lambda }^T\mu +{\nu }^T\upsilon$是线性函数，$g(\lambda ,\nu )$是逐点下确界用二维图像可以表示为下图，所以是凹函数。性质2是弱对偶性质。
对于复杂问题，如果不容易直接求最优解可以转换成
$$\{\begin{array}{rlr}& max& g(\lambda ,\nu )\\ & sub& \lambda >0\end{array}$$

2 对偶问题

2.1 转换成对偶问题

• LS problem
  $$\{\begin{array}{rlr}& max& ||x|{|}^2\\ & sub& Ax=b\end{array}$$
  写成对偶形式
  $$\begin{array}{rl}L(x,v)& =||x|{|}^2+{\nu }^T(Ax-b)\\ & =x^{T}x+{\nu }^T(Ax-b)\end{array}$$
  通过求导计算，L(x,v)的最小值
  $$\frac{dL}{dx}=2x+A^T\nu =0$$
  得到了$x=-\frac{1}{2}{A}^T\nu$之后，$g(\nu )$也确定了
  $$\begin{array}{rl}g(\nu )& =\frac{1}{4}{\nu }^{T}A{A}^T\nu -\frac{1}{2}{\nu }^{T}A{A}^T\nu -{\nu }^{T}b\\ & =-\frac{1}{4}{\nu }^{T}A{A}^T\nu -{\nu }^{T}b\end{array}$$
  接下来的工作就是求$g(\nu )$的最大值。
• LP (standard form)
  $$\{\begin{array}{rlr}& min& c^{T}x\\ & sub& Ax=b\\ & & x\ge 0\end{array}$$
  写成对偶形式：
  $$\begin{array}{rl}L(x,v)& =c^{T}x+{\lambda }^T(-x)+{\nu }^T(Ax-b)\\ & =(c-\lambda +A^T\nu {)}^{T}x-{\nu }^{T}b\end{array}$$
  确定了$g(\lambda ,\nu )$
  
• two way partitioning
  二进制在计算机和电气系统中很常见。
  { m i n x T W x s u b x i 2 = 1 , i = 1 , . . . , n x i ∈ { − 1 , 1 } \left \{ \begin{aligned} & min \quad & x^TWx \\ & sub \quad & x_i^2=1,i=1,...,n\\ & \quad & x_i\in \{-1,1 \} \end{aligned} \right. ⎩⎪⎨⎪⎧​​minsub​xTWxxi2​=1,i=1,...,nxi​∈{−1,1}​
  根据定义，写出对偶形式
  $$\begin{array}{rl}L(x,v)& =x^{T}Wx+\sum _i^n{\nu }_i(x_i^2-1)\\ & =x^{T}Wx+x^T\left[\begin{array}{cccc}{v}_1& 0& ...& 0\\ 0& v_2& ...& 0\\ 0& 0& ...& v_n\end{array}\right]x-I^T\nu \\ & =x^T(W+V)x-I^T\nu \end{array}$$
  根据二次函数的性质，得到
  $$g(\nu )=\underset{x}{\inf }L(x,\nu )=\{\begin{array}{r}-I^T\nu ,W+V\in SDP\\ 0,W+V\notin SDP\end{array}$$

2.2 对偶和共轭函数的关系

2.2.1 理论部分

对于下面的形式
$$\{\begin{array}{rlr}& min& f_0(x)\\ & sub& x=0\end{array}$$
对偶形式：
L ( x , ν ) = f 0 ( x ) + ν T x g ( ν ) = i n f x { f 0 ( x ) + ν T x } = − s u p x { − f 0 ( x ) − ν T x } = − f 0 ∗ ( − ν ) \begin{aligned} L(x,\nu) &=f_0(x)+\nu^T x \\ g(\nu) &=\mathop{inf} \limits_{x}\{ f_0(x)+ \nu^T x \} \\ &=-\mathop{sup} \limits_{x} \{ -f_0(x)-\nu^T x \} \\ &=-f_0^*(-\nu) \end{aligned} L(x,ν)g(ν)​=f0​(x)+νTx=xinf​{f0​(x)+νTx}=−xsup​{−f0​(x)−νTx}=−f0∗​(−ν)​
复习一下共轭函数
$f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$

对于更加一般的形式
$$\{\begin{array}{rlr}& min& f_0(x)\\ & sub& Ax\le b\\ & & Cx=d\end{array}$$
拉格朗日方程
g ( λ , ν ) = i n f x { f 0 ( x ) + λ T ( A x − b ) + ν T ( C x − d ) } = i n f x { ( A T λ + C T ν ) T x + f 0 ( x ) } − λ T b − ν T d = − s u p x { ( − A T λ − C T ν ) T x − f 0 ( x ) } − λ T b − ν T d = − f 0 ∗ ( − A T λ − C T ν ) − λ T b − ν T d \begin{aligned} g(\lambda, \nu) &=\mathop{inf} \limits_{x} \{f_0(x)+\lambda^T(Ax-b)+\nu^T(Cx-d) \}\\ &=\mathop{inf} \limits_{x} \{(A^T\lambda+C^T\nu)^Tx+f_0(x) \}-\lambda^Tb-\nu^Td \\ &=-\mathop{sup} \limits_{x} \{ (-A^T\lambda-C^T\nu)^Tx-f_0(x) \}-\lambda^Tb-\nu^Td \\ &=-f_0^*(-A^T\lambda-C^T\nu) -\lambda^Tb-\nu^Td \end{aligned} g(λ,ν)​=xinf​{f0​(x)+λT(Ax−b)+νT(Cx−d)}=xinf​{(ATλ+CTν)Tx+f0​(x)}−λTb−νTd=−xsup​{(−ATλ−CTν)Tx−f0​(x)}−λTb−νTd=−f0∗​(−ATλ−CTν)−λTb−νTd​
限定的定义域可以归纳为 d o m g = { ( λ , ν ) ∣ ( − A T λ − C T ν ) ∈ f 0 ∗ } domg=\{ (\lambda, \nu)| (-A^T\lambda-C^T\nu) \in f_0^* \} domg={(λ,ν)∣(−ATλ−CTν)∈f0∗​}

2.2.2 applications

• Equally constrained norm minimization
  从拉格朗日方程和共轭方程之间的联系，可以快速的找到拉格朗日方程的限定区间。
  $$\{\begin{array}{rlr}& min& ||x||\\ & sub& Ax=b\end{array}$$
  对于$f_0(x)=||x||$,其共轭函数
  f 0 ∗ ( y ) = s u p x { y T x + ∣ ∣ x ∣ ∣ } = { 0 , ∣ ∣ y ∣ ∣ ≤ 1 ∞ , e l s e \begin{aligned} f_0^*(y) &=\mathop{sup}\limits_{x}\{ y^Tx+||x|| \} \\ & = \left \{ \begin{aligned} & 0, \quad ||y||\leq 1 \\ & \infty, \quad else \end{aligned} \right. \end{aligned} f0∗​(y)​=xsup​{yTx+∣∣x∣∣}={​0,∣∣y∣∣≤1∞,else​​
  根据对偶和共轭方程之间的联系，
  $$\begin{array}{rl}g(\nu )& =-f_0^{\ast }(-A^T\nu )-b^T\nu \\ & =\{\begin{array}{rl}& -b^{T}v,||A^T\nu ||\le 1\\ & -\infty ,else\end{array}\end{array}$$
  这样就得到了对偶形式。

2.3 对偶形式

2.3.1 定义

优化问题转换成功对偶形式，如下

再来看对偶问题的定义域和纬度：
d o m g = { ( λ , ν ) ∣ g ( λ , v ) > − ∞ } d i m ( d o m g ) ≤ m + p \begin{aligned} dom g=\{ (\lambda, \nu) | g(\lambda, v) > - \infty \} \\ dim (domg) \leq m+p \end{aligned} domg={(λ,ν)∣g(λ,v)>−∞}dim(domg)≤m+p​

2.3.2 applications

• standard LP
  $$p)\{\begin{array}{rlr}& min& c^{T}x\\ & sub& Ax=b\\ & & x\ge 0\end{array}$$
  拉格朗日方程有
  $$\begin{array}{rl}L(x,\lambda ,\nu )& =c^{T}x+{\lambda }^T(-x)+{\nu }^T(Ax-b)\\ & =(c-\lambda +A^T\nu )x-{\nu }^{T}b\end{array}$$
  写成$g(\lambda ,\nu )$形式
  $$g(\lambda ,\nu )=\{\begin{array}{rl}& -{\nu }^{T}b,A^T\nu -\lambda +c=0\\ & -\infty ,else\end{array}$$
  对偶形式
  $$p)\{\begin{array}{rlr}& max& -{\nu }^{T}b\\ & sub& A^T\nu -\lambda +c=0\\ & & \lambda \ge 0\end{array}$$
  进一步可以修改成：
  $$p)\{\begin{array}{rlr}& max& -{\nu }^{T}b\\ & sub& A^T\nu +c\ge 0\end{array}$$
• inequality form of LP
  $$p)\{\begin{array}{rlr}& min& c^{T}x\\ & sub& Ax\le b\end{array}$$
  拉格朗日方程有
  $$\begin{array}{rl}L(x,\lambda )& =c^{T}x+{\lambda }^T(Ax-b)\\ & =(c+A^T\lambda )x-{\lambda }^{T}b\end{array}$$
  写成$g(\lambda ,\nu )$形式
  $$g(\lambda ,\nu )=\{\begin{array}{rl}& -{\lambda }^{T}b,A^T\lambda +c=0\\ & -\infty ,else\end{array}$$
  对偶形式
  $$D)\{\begin{array}{rlr}& max& -{\lambda }^{T}b\\ & sub& A^T\lambda +c=0\\ & & \lambda \ge 0\end{array}$$
  这里发现一个有意思的现象，
  

2.4 slater 条件

2.4.1 定义

slater条件从图像上非常容易理解，满足下列形式，说明$p^{\ast }=d^{\ast }$。根据[1]，slater条件仅仅只是一个充分条件。

不符合slater条件，但是也满足强对偶条件。

2.4.2 applications

• QCQP
  $$p)\{\begin{array}{rlr}& min& \frac{1}{2}{x}^T{p}_{0}x+q_0^{T}x+r_0\\ & sub& \frac{1}{2}{x}^T{p}_{i}x+q_i^{T}x+r_i,i=1,...,m\end{array}$$
  为了简化计算,设
  $$\begin{array}{rl}p(\lambda )& =p_0+\sum {\lambda }_i{p}_i\\ q(\lambda )& =q_0+\sum {\lambda }_i{q}_i\\ r(\lambda )& =r_0+\sum \lambda r_i\end{array}$$
  得到拉格朗日方程
  $$\begin{array}{rl}L(x,\lambda )& =\frac{1}{2}{x}^T{p}_{0}x+q_0^{T}x+r_0+\sum {\lambda }_i(\frac{1}{2}{x}^T{p}_{i}x+q_i^{T}x+r_i)\\ & =\frac{1}{2}{x}^{T}px+q^{T}x+r\end{array}$$
  通过求导计算$L(x,\lambda )$相对于x的最小值。有$p(\lambda )x+q(\lambda )=0$,得到$x_0=-p(\lambda {)}^{-1}q(\lambda )$
  代入，有
  $$\begin{array}{rl}g(\lambda )& =-\frac{1}{2}{q}^T(\lambda )p^{-1}(\lambda )q(\lambda )+r(\lambda )\end{array}$$
  对偶形式如下
  $$D)\{\begin{array}{rlr}& max& -\frac{1}{2}{q}^T(\lambda )p^{-1}(\lambda )q(\lambda )+r(\lambda )\\ & sub& \lambda \ge 0\end{array}$$
• entropy maximization
  $$p)\{\begin{array}{rlr}& min& \sum x_{i}log{x}_i\\ & sub& Ax\le b\\ & & I^{T}x=1\end{array}$$
  $f_0(x)=\sum x_{i}log{x}_i$,共轭函数
  $$\begin{array}{rl}{f}_0^{\ast }(y)& =\underset{x\in domf}{\sup }(y^{T}x-\sum x_{i}log{x}_i)\\ & =\underset{x\in domf}{\sup }\sum (y_i{x}_i-x_{i}log{x}_i)\end{array}$$
  对$h_i(x)=y_i{x}_i-x_{i}log{x}_i求导$,容易得到$x_i=exp(y_i-1)$得到最大值,共轭函数可以整理成
  $$\begin{array}{rl}{f}_0^{\ast }(y)& =\sum (y_{i}exp(y_i-1)-(y_i-1)exp(y_i-1))\\ & =\sum exp(y_i-1)\end{array}$$
  根据拉格朗日方程和共轭方程的联系，有
  $$\begin{array}{rl}g(\lambda ,\nu )& =f_0^{\ast }(-A^T\lambda -c^T\nu )-{\lambda }^{T}b-I^T\nu \\ & =-{\lambda }^{T}b-I^T\nu -exp(-\nu -1)\sum _{i}exp(-a_i^T{\lambda }_i)\end{array}$$
  这是个二元函数，并不容易求到最大值，需要进一步简化。
  对$\nu$进行求导
  $$\frac{dg}{d\nu }=-I+exp(-\nu -1)\sum _{i}exp(-a_i^T{\lambda }_i)=0$$
  得到
  $$\begin{array}{rl}{v}_0& =log\sum _{i}exp(-a_i^T{\lambda }_i)-1\end{array}$$
  整理$g(\lambda ,\nu )$,有
  $$\begin{array}{rl}g(\lambda ,\nu )& =-{\lambda }^{T}b-log\sum _{i}exp(-a_i^T{\lambda }_i)\\ & =-log\frac{\sum _{i}exp(-a_i^T{\lambda }_i)}{exp(-b^T\lambda )}\\ & =-log\sum _{i}exp(-a_i^T{\lambda }_i+b^T\lambda )\end{array}$$

对偶形式有
$$D)\{\begin{array}{rlr}& min& log\sum _{i}exp(-a_i^T{\lambda }_i+b^T\lambda )\\ & sub& \lambda \ge 0\end{array}$$

• trust region region
  存在原问题并不是凸问题，但是仍满足强对偶条件的情况。
  $$p)\{\begin{array}{rlr}& min& x^{T}Ax+2b^{T}x\\ & sub& x^{T}x\le 1\end{array}$$
  拉格朗日方程
  $$\begin{array}{rl}L(x,\lambda )& =x^{T}Ax+2b^{T}x+\lambda (x^{T}x-1)\\ & =x^T(A+\lambda I)x+2b^{T}x-\lambda \end{array}$$
  通过求导，找出$x_0=-(A+\lambda I{)}^{-1}b$,
  $$\frac{dL}{dx}=2(A+\lambda I)x+2b=0$$
  设$A=Q^T\epsilon Q$, Q是特征向量，$\epsilon$是特征矩阵，有
  $$\begin{array}{rl}g(\lambda )& =-b^T(A+\lambda I{)}^{-T}b-\lambda \\ & =-b^{T}Q(\epsilon +\lambda I{)}^{-1}{Q}^{T}b-\lambda \\ & =-\sum _{i=1}^n\frac{(b_i^T{q}_i{)}^2}{{\lambda }_i+\lambda }-\lambda \end{array}$$
  转换成对偶形式
  $$D)\{\begin{array}{rlr}& min& \sum _{i=1}^n\frac{(b_i^T{q}_i{)}^2}{{\lambda }_i+\lambda }+\lambda \\ & sub& \lambda \ge -\lambda (A{)}_{min}\end{array}$$

References

[1] https://www.zhihu.com/question/58584814/answer/1119054535
[2] https://zhuanlan.zhihu.com/p/133457394
[3] https://www.youtube.com/watch?v=Qneah_lyQ0o&list=PL-DDW8QIRjNOVxrU2efygBw0xADVOgpmw&index=15
[4] https://www.youtube.com/watch?v=0WpYucMfaHM&list=PL-DDW8QIRjNOVxrU2efygBw0xADVOgpmw&index=16