Convex optimization 4.2 ---Strong duality

1 Introduction

在4.1节，我们回顾了对偶的原理、如何构建、作用，在4.2继续应用对偶条件，尤其是强对偶条件，帮助我们分析和解决优化问题。

2 Certificate of suboptimality

对于标准的优化问题：
$$\{\begin{array}{rlr}& min& f_0(x),x\in R^n\\ & sub& f_i(x)\le 0,i=1,...m\\ & & h_i(x)=0,i=1,...,p\end{array}$$
拉格朗日方程
$$L(x,\lambda ,\nu )=f_0(x)+\sum _i^m{\lambda }_i{f}_i(x)+\sum _i^p{\nu }_i{h}_i(x)$$
对偶形式方程
$$g(\lambda ,\nu )=\underset{x}{\inf }L(x,\lambda ,\nu )$$
假定$x^{\ast }是最优解，p^{\ast }=f_0(x^{\ast })$; 而${\hat{x}}^{\ast }、{\hat{\lambda }}^{\ast }、{\hat{\nu }}^{\ast }$是通过迭代计算的估计值，有下面的关系
$$\begin{array}{rl}{f}_0(x)-p^{\ast }& \le f_0(x)-g({\hat{\lambda }}^{\ast },{\hat{\nu }}^{\ast })\\ |f_0({\hat{x}}^{\ast })-p^{\ast }|& \le |f_0({\hat{x}}^{\ast })-g({\hat{\lambda }}^{\ast },{\hat{\nu }}^{\ast })|\le \epsilon \end{array}$$
当迭代的时候，误差小于限制时，认为结束。但如果并不是强对偶，$\epsilon$并不容易确定到底是多少。
$用这种方法进行评估预测值的误差，一般也是应用在强对偶条件下。$

3 complementary slackness

3.1 定义

原问题转换成对偶问题后，很自然会对两个问题中的最优解$x^{\ast }\to ({\lambda }^{\ast },{\nu }^{\ast })$之间的联系产生兴趣。
$$\begin{array}{rl}{f}_0(x^{\ast })& \ge g({\lambda }^{\ast },{\nu }^{\ast })\\ & \ge \underset{x}{\inf }(L(x,{\lambda }^{\ast },{\nu }^{\ast }))\\ & \ge \underset{x}{\inf }(f_0(x)+\sum _i^m{\lambda }_i^{\ast }{f}_i(x)+\sum _i^p{\nu }_i^{\ast }{h}_i(x))\\ & \ge f_0(x^{\ast })+\underset{x}{\inf }(\sum _i^m{\lambda }_i^{\ast }{f}_i(x))\end{array}$$

此时，显而易见如果问题满足强对偶条件，则下列条件成立
$$\begin{array}{r}{\lambda }_1^{\ast }{f}_1(x)=...={\lambda }_m^{\ast }{f}_m(x)=0\\ \underset{x}{\inf }(L(x,{\lambda }^{\ast },{\nu }^{\ast }))=L(x^{\ast },{\lambda }^{\ast },{\nu }^{\ast })\end{array}$$
这其实就是KKT条件，其中一个条件1就是complementary slackness.
$指的是如果优化问题满足强对偶条件，则{\lambda }_1^{\ast }{f}_1(x)=...={\lambda }_m^{\ast }{f}_m(x)=0$

3.2 应用

$$p)\{\begin{array}{rlr}& min& c^{T}x\\ & sub& Ax\le b\\ & & x\ge 0\end{array}\to d)\{\begin{array}{rlr}& min& b^T\lambda \\ & sub& A^T\lambda \ge c\\ & & \lambda \ge 0\end{array}$$
给具体的数值
$$c=\left[\begin{array}{c}1\\ -2\\ 3\end{array}\right]A=\left[\begin{array}{ccc}1& 1& -2\\ 2& -1& -3\\ 1& 1& 5\end{array}\right]b=\left[\begin{array}{c}1\\ 4\\ 2\end{array}\right]$$

对于线性规划，有一个非常重要的性质[4], $即对偶问题的对偶问题是原问题。$
加上这个性质之后，complementary slackness，可以拓展成
$$\begin{array}{r}{\lambda }_1^{\ast }{f}_1(x)=...={\lambda }_m^{\ast }{f}_m(x)=0\\ x_1^{\ast }{\bar{f}}_1(x)=...=x_m^{\ast }{\bar{f}}_m(x)=0\end{array}$$
代入具体的数值之后，上面的问题变成
p ) { m i n x 1 − 2 x 2 + 3 x 3 s u b x 1 + 2 x 2 − 2 x 3 ≤ 1 2 x 1 − x 2 − 3 x 3 ≤ 4 x 1 + x 2 + 5 x 3 ≤ 2 x 1 ≥ 0 , x 2 ≥ 0 , x 3 ≥ 0 → d ) { m i n λ 1 + 4 λ 2 + 2 λ 3 s u b λ 1 + 2 λ 2 + λ 3 ≥ 1 λ 1 − λ 2 + λ 3 ≥ 1 − 2 λ 1 − 3 λ 2 + 5 λ 3 ≥ 3 λ 1 ≥ 0 , λ 2 ≥ 0 , λ 3 ≥ 0 p) \left \{ \begin{aligned} & min \quad & x_1-2x_2+3x_3 \\ & sub \quad & x_1+2x_2-2x_3 \leq 1 \\ & \quad & 2x_1-x_2-3x_3 \leq 4 \\ & \quad & x_1+x_2+5x_3 \leq 2 \\ & \quad & x_1 \geq0, x_2 \geq0, x_3 \geq0 \end{aligned} \right. \quad \to \quad d) \left \{ \begin{aligned} & min \quad & \lambda_1+4 \lambda_2+2 \lambda_3 \\ & sub \quad & \lambda_1+2 \lambda_2+ \lambda_3 \geq 1 \\ & \quad & \lambda_1- \lambda_2+ \lambda_3 \geq 1 \\ & \quad & -2 \lambda_1-3 \lambda_2+5 \lambda_3 \geq 3 \\ & \quad & \lambda_1 \geq0, \lambda_2 \geq0, \lambda_3 \geq0 \end{aligned} \right. p)⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧​​minsub​x1​−2x2​+3x3​x1​+2x2​−2x3​≤12x1​−x2​−3x3​≤4x1​+x2​+5x3​≤2x1​≥0,x2​≥0,x3​≥0​→d)⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧​​minsub​λ1​+4λ2​+2λ3​λ1​+2λ2​+λ3​≥1λ1​−λ2​+λ3​≥1−2λ1​−3λ2​+5λ3​≥3λ1​≥0,λ2​≥0,λ3​≥0​

假设找到一个最优解
$$\{\begin{array}{rl}{x}_1^{\ast }& =\frac{9}{7}\\ x_2^{\ast }& =0,\\ x_3^{\ast }& =\frac{1}{7},\end{array}\to \{\begin{array}{rl}{f}_1(x^{\ast })& =0，{\bar{f}}_1(\lambda )=0\\ f_2(x^{\ast })& <0,{\lambda }_2=0\\ f_3(x^{\ast })& =0，{\bar{f}}_3(\lambda )=0\end{array}$$
得到了根据推导出来的关系，代入对偶问题中进行验证，查看是否符合。

4 KKT condition

4.1 定义

slater条件是证明强对偶的充分条件，KKT条件则是证明强对偶的充分必要条件。

4.2 应用

在凸优化这门课上，我们能解决的问题主要是那几类，普遍都是凸优化问题。用KKT证明强对偶很少，反而利用强对偶这个前提，利用KKT条件，求解最优解。
$$\{\begin{array}{rlr}& min& \frac{1}{2}{x}^{T}px+q^{T}x+r,p\in s_{+}^n\\ & sub& Ax=b\end{array}$$
根据条件4，$L(x,\nu )=\frac{1}{2}{x}^{T}px+q^{T}x+r+{\nu }^T(Ax-b)$
$$\begin{array}{r}\frac{dL}{dx}=p{x}^{\ast }+q+A^T\nu =0\\ A{x}^{\ast }=b\end{array}$$
得到了一个重要的条件，方便后面的计算。

5 Perturbation and sensitivity analysis

5.1 定义

很多时候，约束需要调试才能合理的给出，这时扰动和敏感性分析就非常重要。
$$c)\{\begin{array}{rlr}& min& f_0(x)\\ & sub& f_i(x)\le 0,i=1,...,n\\ & & h_i(x)=0,i=1,...,p\end{array}\to p)\{\begin{array}{rlr}& min& f_0(x)\\ & sub& f_i(x)\le u_i,i=1,...,n\\ & & h_i(x)=v_i,i=1,...,p\end{array}$$
$在进一步深入讨论之前，需要搞清楚，引入pertubation之后，改变的到底是什么？$
$放宽了限制条件，直接改变了x存在的区域$

对于原问题$p^{\ast }$是最优解，
p ∗ ( u , v ) = i n f x { f 0 ( x ) ∣ ∃ x ∈ D , f i ( x ) ≤ u i , h i ( x ) = v i } p^*(u,v)=\mathop{inf} \limits_x \{ f_0(x) | \exists x \in D, f_i(x)\leq u_i, h_i(x)=v_i \} p∗(u,v)=xinf​{f0​(x)∣∃x∈D,fi​(x)≤ui​,hi​(x)=vi​}
如果原问题是凸问题，则$p^{\ast }(u,v)是关于u,v的凸函数$。
从上境图很容易理解，集合A是$f_i,h_i，f_0$对应凸集的交集，所以仍然是凸集。
A = { ( u , v , t ) ∣ ∃ x ∈ D , f i ( x ) ≤ u i , h i ( x ) = v i , f 0 ( x ) ≤ t } A=\{ (u,v,t) | \exists x \in D, f_i(x)\leq u_i, h_i(x)=v_i, f_0(x)\leq t \} A={(u,v,t)∣∃x∈D,fi​(x)≤ui​,hi​(x)=vi​,f0​(x)≤t}

5.2 global pertubation

引入了扰动量之后，当然很关心，扰动量对问题最小值的影响，即$p^{\ast }(0,0)和p^{\ast }(u,v)的关系。$
对于一般问题，他们之间的联系太多复杂，先从强对偶条件入手。
用$D(0,0)表示未加扰动前的定义域domx,D(u,v)表示添加扰动后的定义域domx。$
$$\begin{array}{rl}{p}^{\ast }(0,0)& =g({\lambda }^{\ast },{\nu }^{\ast })\\ & \le f_0(x)+\sum _i^m{\lambda }_i^{\ast }{f}_i(x)+\sum _i^p{\nu }_i^{\ast }{h}_i(x)，x\in D(0,0)\\ & \le f_0(x)+{\lambda }^{T}u+{\nu }^{T}v，x\in D(u,v)\end{array}$$
$搞不懂从x\in D(0,0)\to x\in D(u,v)上面的式子为何还会继续成立？$
总之，根据上面的式子很容易得到
$$p^{\ast }(u,v)\ge p^{\ast }(0,0)-{\lambda }^{T}u+{\nu }^{T}v,x\in D(u,v)$$

$p^{\ast }(u,v)和p^{\ast }(0,0)的关系可以用下面的图表示：$
$关于为何直线和凸函数P^{\ast }(u,v)相切？凸函数和直线有且只有一个交点，那必然只能是相切。$
$-\lambda 是凸函数p^{\ast }(u,v)在点(0,0)处的导数。$

得到了global pertubation关系之后，对如何调节约束，有了一个大致的指导。

根据这个不等式，可以定性的得到，调节对最小值的影响。

5.3 local pertubation

在5.2，我们用几何图像说明了为何$凸函数g(u.v)在(0,0)点处的关于u的偏导是-\lambda$.
用代数证明的过程，这里进行省略。主要是结论
$$\begin{array}{rl}\frac{\partial p^{\ast }(u,v)}{\partial u_i}{|}_{(u,v)=(0,0)}& =-{\lambda }_i\\ \frac{\partial p^{\ast }(u,v)}{\partial v_i}{|}_{(u,v)=(0,0)}& =-{\nu }_i\end{array}$$
这个时候，如果在$p^{\ast }(0,0)$进行细微的调节，就可以利用泰勒展开，定量的得到细微调整的影响。

6 Alternatives

在研究优化问题，首先要关注的事情是限制是否可行。weak alternatives和strong alternatives通过对偶转换，考虑限制是否可行。

6.1 weak alternatives

$$\{\begin{array}{rlr}& min& 0\\ & sub& f_i(x)\le 0,i=1,...m\\ & & h_i(x)=0,i=1,...,p\end{array}$$
根据定义，问题可行和最小值$p^{\ast }$存在下来关系
$$p^{\ast }=\{\begin{array}{rl}& 0,ifxisfeasible\\ & \infty ,else(空集的下确界是\infty )\end{array}$$

采用对偶变换
g ( λ , ν ) = i n f x ∈ D { L ( x , λ , ν ) } = i n f x ∈ D { ∑ i m λ i f i ( x ) + ∑ i p ν i h i ( x ) } \begin{aligned} g(\lambda, \nu) & = \mathop{inf} \limits_{x \in D} \{ L(x, \lambda, \nu) \} \\ & = \mathop{inf} \limits_{x \in D} \{ \sum \limits_i^m \lambda_i f_i(x) + \sum \limits_i^p \nu_ih_i(x) \} \end{aligned} g(λ,ν)​=x∈Dinf​{L(x,λ,ν)}=x∈Dinf​{i∑m​λi​fi​(x)+i∑p​νi​hi​(x)}​

转换而成的对偶问题
$$\{\begin{array}{rlr}& \underset{\lambda ,\nu }{\max }& g(\lambda ,\nu )\\ & sub& \lambda \ge 0\end{array}$$
注意$g(\lambda ,\nu )$是一个线性函数，对偶问题的最优解d*有
d ∗ = { 0 , ∀ i n f x ∈ D { f i ( x ) } ≤ 0 ( 通 过 取 对 应 的 λ i 为 0 ） ∞ , ∃ i n f x ∈ D { f i ( x ) } > 0 ( 通 过 取 对 应 的 λ i 为 ∞ ） d^*= \left \{ \begin{aligned} &0, \quad \forall \mathop{inf}\limits_{x \in D}\{ f_i(x) \}\leq0(通过取对应的\lambda_i为0） \\ &\infty, \quad \exists\mathop{inf}\limits_{x \in D}\{ f_i(x) \} > 0(通过取对应的\lambda_i为\infty） \end{aligned} \right. d∗=⎩⎪⎨⎪⎧​​0,∀x∈Dinf​{fi​(x)}≤0(通过取对应的λi​为0）∞,∃x∈Dinf​{fi​(x)}>0(通过取对应的λi​为∞）​

用集合的方式表示
∃ i n f x ∈ D { f i ( x ) } > 0 → T : { ( λ ≥ 0 , g ( λ , ν ) > 0 ) } \exists\mathop{inf}\limits_{x \in D}\{ f_i(x) \} > 0 \quad \to \quad T:\{(\lambda \geq 0, g(\lambda, \nu)>0) \} ∃x∈Dinf​{fi​(x)}>0→T:{(λ≥0,g(λ,ν)>0)}
重新写上面的形式：
$$d^{\ast }=\{\begin{array}{rl}& 0,Tisinfeasible\\ & \infty ,Tisfeasible\end{array}$$

设原问题的解集为 S : { f i ( x ) ≤ 0 , h i ( x ) = 0 } S:\{ f_i(x) \leq 0, h_i(x)=0 \} S:{fi​(x)≤0,hi​(x)=0}，集合S和集合T有下面的关系
$$\begin{array}{r}Tisfeasible\to Sisinfeasible\\ Sisfeasible\to Tisinfeasible\end{array}$$

6.2 strong alternatives

考虑原问题满足强对偶条件，weak alternatives是否有加强的情况。

设原问题的解集为 S : { f i ( x ) ≤ 0 , A x = b } S:\{ f_i(x) \leq 0, Ax=b \} S:{fi​(x)≤0,Ax=b}，集合 T : { ( λ ≥ 0 , g ( λ , ν ) > 0 ) } T:\{(\lambda \geq 0, g(\lambda, \nu)>0) \} T:{(λ≥0,g(λ,ν)>0)}有下面的关系
$$\begin{array}{r}Tisfeasible\leftrightarrow Sisinfeasible\\ Sisfeasible\leftrightarrow Tisinfeasible\end{array}$$
$条件得到了加强，现在根据S、T是infeasible就可以反向说明T、S是feasible$
设原问题的解集为 S : { f i ( x ) < 0 , A x = b } S:\{ f_i(x) < 0, Ax=b \} S:{fi​(x)<0,Ax=b}，集合 T : { ( λ ≥ 0 , λ ≠ 0 , g ( λ , ν ) > 0 ) } T:\{(\lambda \geq 0, \lambda \neq 0, g(\lambda, \nu)>0) \} T:{(λ≥0,λ​=0,g(λ,ν)>0)}有下面的关系
$$\begin{array}{r}Tisfeasible\leftrightarrow Sisinfeasible\\ Sisfeasible\leftrightarrow Tisinfeasible\end{array}$$

6.3 应用

• Linear inequality
  对于 S : { A x ≤ b } S:\{ Ax \leq b \} S:{Ax≤b}, 根据线性规划的对偶问题，可知 T : { λ ≥ 0 , A T λ = 0 , b T λ < 0 } T:\{ \lambda \geq 0, A^T\lambda=0, b^T\lambda<0\} T:{λ≥0,ATλ=0,bTλ<0}
  也可以采用定义去推导：
  g ( λ ) = i n f x ∈ D { L ( x , λ ) } = i n f x ∈ D { λ T A x − λ T b } = { − λ T b , i f   A T λ = 0 − ∞ , e l s e \begin{aligned} g(\lambda) & = \mathop{inf} \limits_{x \in D} \{ L(x, \lambda) \} \\ & = \mathop{inf} \limits_{x \in D} \{ \lambda^TAx-\lambda^Tb \} \\ & = \left \{ \begin{aligned} & -\lambda^Tb, \quad if \ A^T\lambda=0 \\ & - \infty, \quad else \end{aligned} \right. \end{aligned} g(λ)​=x∈Dinf​{L(x,λ)}=x∈Dinf​{λTAx−λTb}={​−λTb,if ATλ=0−∞,else​​
  $重点关注，如何根据S如果infesible这个条件，推出T$
  对于 S : { A x < b } S:\{ Ax < b \} S:{Ax<b},如果值域 { y = b − A x ∣ x ∈ R n } \{ y=b-Ax| x \in R^n \} {y=b−Ax∣x∈Rn} 和 { y > 0 } \{ y>0 \} {y>0}不相交，则S是infesible。
  从超平面分离的角度来看，
  ∃ λ ∈ R m   a n d   α ∈ R , 使 得 λ T y ≤ α , y ∈ d o m { C } ; λ T y ≥ α , y ∈ d o m { D } . \begin{aligned} \exists \lambda \in R^m \ and \ \alpha \in R, 使得 & \lambda ^Ty \leq \alpha , y \in dom \{ C \}; \\ & \lambda ^Ty \geq \alpha , y \in dom \{ D \}. \end{aligned} ∃λ∈Rm and α∈R,使得​λTy≤α,y∈dom{C};λTy≥α,y∈dom{D}.​
  根据这个具体的问题
  $$\begin{array}{rl}& \underset{x\in R^n}{\max }{\lambda }^T(b-Ax)\le \alpha \to {\lambda }^{T}b\le \alpha ,{\lambda }^{T}A=0\\ & \underset{y>0}{\min }{\lambda }^{T}y\ge \alpha \to \alpha \le 0\\ & \lambda \ge 0,\lambda \ne 0\end{array}$$
  整理出 T : { λ T b ≤ 0 ; λ ≥ 0 , λ ≠ 0 , λ T A = 0 } T: \{ \lambda ^Tb \leq 0; \lambda \geq 0, \lambda \neq 0 ,\lambda^TA = 0 \} T:{λTb≤0;λ≥0,λ​=0,λTA=0}

• intersection ellipsoid
  E i = { x ∣ f i ( x ) ≤ 0 , f i ( x ) = x T A i x + 2 b i T x + c i ; A i ∈ s + + n } S = { E 1 ⋂ E 2 ⋂ . . . ⋂ E n } \begin{aligned} E_i &= \{ x | f_i(x) \leq0, f_i(x)=x^TA_ix+2b_i^Tx+c_i;A_i \in s_{++}^n \} \\ S & =\{ E_1 \bigcap E_2 \bigcap ... \bigcap E_n \} \end{aligned} Ei​S​={x∣fi​(x)≤0,fi​(x)=xTAi​x+2biT​x+ci​;Ai​∈s++n​}={E1​⋂E2​⋂...⋂En​}​
  通过定义计算T：
  g ( λ ) = i n f x ∈ D { L ( x , λ ) } = i n f x ∈ D { ∑ i m λ i x T A i x + 2 λ i b i T x + λ i c i ; A i ∈ s + + n } = i n f x ∈ D { x T ( ∑ i m λ i A i ) x + 2 ( ∑ i m λ i b i T ) x + ( ∑ i m λ i c i ) ; A i ∈ s + + n } = i n f x ∈ D { x T A ( λ ) x + 2 B ( λ ) x + C ( λ ) ; A i ∈ s + + n } , A ( λ ) = ( ∑ i m λ i A i ) , B ( λ ) = ( ∑ i m λ i b i T ) ， C ( λ ) = ( ∑ i m λ i c i ) = − B T ( λ ) A − 1 ( λ ) B ( λ ) + C ( λ ) , A ( λ ) > 0 , B ∈ R ( A ( λ ) ) \begin{aligned} g(\lambda) & = \mathop{inf} \limits_{x \in D} \{ L(x, \lambda) \} \\ & = \mathop{inf} \limits_{x \in D} \{ \sum \limits_i^m \lambda_ix^TA_ix+2\lambda_ib_i^Tx+\lambda_ic_i;A_i \in s_{++}^n \} \\ & = \mathop{inf} \limits_{x \in D} \{ x^T (\sum \limits_i^m \lambda_iA_i)x+2(\sum \limits_i^m\lambda_ib_i^T)x+(\sum \limits_i^m\lambda_ic_i) ;A_i \in s_{++}^n \} \\ & = \mathop{inf} \limits_{x \in D} \{ x^TA(\lambda)x+2B(\lambda)x+C(\lambda) ;A_i \in s_{++}^n \},\\ & \quad A(\lambda)= (\sum \limits_i^m \lambda_iA_i),B(\lambda) = (\sum \limits_i^m\lambda_ib_i^T)， C(\lambda)=(\sum \limits_i^m\lambda_ic_i) \\ &= -B^T(\lambda)A^{-1}(\lambda)B(\lambda)+C(\lambda), A(\lambda) >0, B\in R(A(\lambda)) \end{aligned} g(λ)​=x∈Dinf​{L(x,λ)}=x∈Dinf​{i∑m​λi​xTAi​x+2λi​biT​x+λi​ci​;Ai​∈s++n​}=x∈Dinf​{xT(i∑m​λi​Ai​)x+2(i∑m​λi​biT​)x+(i∑m​λi​ci​);Ai​∈s++n​}=x∈Dinf​{xTA(λ)x+2B(λ)x+C(λ);Ai​∈s++n​},A(λ)=(i∑m​λi​Ai​),B(λ)=(i∑m​λi​biT​)，C(λ)=(i∑m​λi​ci​)=−BT(λ)A−1(λ)B(λ)+C(λ),A(λ)>0,B∈R(A(λ))​
  对$L(x,\lambda )进行求导$
  $$\begin{array}{rl}\frac{dL}{dx}& =\sum 2A(\lambda )x+2B(\lambda )=0\to x=-A(\lambda {)}^{-1}B(\lambda )\end{array}$$
  利用strong alternative的结论，T
  T : { λ ≥ 0 , − B T ( λ ) A − 1 ( λ ) B ( λ ) + C ( λ ) , A ( λ ) > 0 ， A ( λ ) > 0 , B ∈ R ( A ( λ ) ) } T:\{ \lambda \geq 0, -B^T(\lambda)A^{-1}(\lambda)B(\lambda)+C(\lambda), A(\lambda) >0， A(\lambda) >0, B\in R(A(\lambda)) \} T:{λ≥0,−BT(λ)A−1(λ)B(λ)+C(λ),A(λ)>0，A(λ)>0,B∈R(A(λ))}

7 Equivalent refomulation

7.1 引入新变量

7.1.1 定义

$$P_1)\{\begin{array}{rlr}& min& f_0(Ax+b)\end{array}\to D_1)\{\begin{array}{rlr}& max& p^{\ast }\end{array}$$
替换之后的形式为,中间推导过程繁琐，并且也很简单，省略。
$$P_2)\{\begin{array}{rlr}& \underset{x,y}{\min }& f_0(x)\\ & sub& y=Ax+b\end{array}\to D_2)\{\begin{array}{rlr}& \underset{\nu }{\max }& -f_0^{\ast }(\nu )+{\nu }^{T}b\\ & sub& {\nu }^{T}A=0\end{array}$$

7.1.2 应用

• log-sum exponential cost
  $$P_1)\{\begin{array}{rlr}& min& log(\sum _{i=1}^{m}exp(a_i^{T}x+b_i))\end{array}\to D_1)\{\begin{array}{rlr}& max& p^{\ast }\end{array}$$
  同样的进行替换
  $$P_2)\{\begin{array}{rlr}& \underset{x,y}{\min }& log(\sum _{i=1}^{m}exp(y)\\ & sub& y=Ax+b\end{array}\to D_2)\{\begin{array}{rlr}& \underset{\nu }{\max }& -f_0^{\ast }(\nu )+{\nu }^{T}b\\ & sub& {\nu }^{T}A=0\end{array}$$
  问题的关键变成了求共轭函数$f_0^{\ast }(\nu )$。

7.2 引入新约束

$$P_1)\{\begin{array}{rlr}& min& f_0(Ax+b)\\ & & f_i(Ax+b)\le 0\end{array}$$
替换之后的形式为,中间推导过程繁琐，并且也很简单，省略。
$$P_2)\{\begin{array}{rlr}& \underset{x,y}{\min }& f_0(y_0)\\ & sub& f_i(y_i)\le 0\\ & & Ax+b=y\end{array}\to D_2)\{\begin{array}{rlr}& \underset{\nu }{\max }& -f_0^{\ast }(\nu )-\sum _{i=1}^m{\lambda }_i{f}_i^{\ast }({\nu }_i/{\lambda }_i)+{\nu }^{T}b\\ & sub& {\nu }^{T}A=0\\ & & \lambda \ge 0\end{array}$$

7.3 implicit constraints

$$P_2)\{\begin{array}{rlr}& \underset{x,y}{\min }& c^{T}x\\ & sub& Ax=b\\ & & l\le x\le u\end{array}\to D_2)\{\begin{array}{rlr}& \underset{\nu }{\max }& -{\nu }^{T}b-{\lambda }_1^{T}u+{\lambda }_2^{T}l\\ & sub& c+A^T\nu +{\lambda }_1-{\lambda }_2=0\\ & & {\lambda }_1\ge 0,{\lambda }_2\ge 0\end{array}$$
进行转换之后
$$P_2)\{\begin{array}{rlr}& \underset{x,y}{\min }& f_0(x)=\{\begin{array}{rl}& c^{T}x,l\le x\le u\\ & \infty ,else\end{array}\\ & sub& Ax=b\end{array}$$
通过定义去计算对偶问题
g ( ν ) = i n f l ≤ x ≤ u { c T x + ν T ( A x − b ) } = − ν T b + i n f l ≤ x ≤ u { ( c + A T ν ) T x } = { − ν T b + ( c + A T ν ) T u , c + A T ν ≥ 0 − ν T b + ( c + A T ν ) T l , e l s e \begin{aligned} g(\nu) &= \mathop{inf} \limits_{l \leq x \leq u} \{ c^Tx+\nu^T(Ax-b) \} \\ & = -\nu^Tb+\mathop{inf} \limits_{l \leq x \leq u} \{ (c+A^T\nu)^Tx \} \\ & = \left \{ \begin{aligned} & -\nu^Tb+(c+A^T\nu)^Tu, \quad c+A^T\nu \geq 0 \\ & -\nu^Tb+(c+A^T\nu)^Tl, \quad else \end{aligned} \right. \end{aligned} g(ν)​=l≤x≤uinf​{cTx+νT(Ax−b)}=−νTb+l≤x≤uinf​{(c+ATν)Tx}={​−νTb+(c+ATν)Tu,c+ATν≥0−νTb+(c+ATν)Tl,else​​

References

[1] https://www.youtube.com/watch?v=_muH67CqTME&list=PL-DDW8QIRjNOVxrU2efygBw0xADVOgpmw&index=17
[2] https://www.youtube.com/watch?v=tFWjzEQMq2g&list=PL-DDW8QIRjNOVxrU2efygBw0xADVOgpmw&index=18
[3] https://www.youtube.com/watch?v=JFbC2uoN7e4&list=PL-DDW8QIRjNOVxrU2efygBw0xADVOgpmw&index=20
[4] https://www.youtube.com/watch?v=COQtsv1SohQ&list=PL-DDW8QIRjNOVxrU2efygBw0xADVOgpmw&index=21
[5] https://zhuanlan.zhihu.com/p/259516554