凸优化学习-（二十）从四个角度理解原问题最优解和对偶问题最优解的关系

凸优化学习

本节探究$p^{\ast }=d^{\ast }$时的不同角度理解。

学习笔记

一、几何理解

对于一个普通优化问题：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_1(x)& \le 0\end{array}$$
做如下定义：
G = { ( f 1 ( x ) , f 0 ( x ) ∣ x ∈ D } G=\lbrace(f_1(x),f_0(x)\mid x\in D\rbrace G={(f1​(x),f0​(x)∣x∈D}
可以推出：
p ∗ = inf ⁡ { t ∣ ( u , t ) ∈ G , u ≤ 0 } g ( λ ) = inf ⁡ { λ ⋅ u + t ∣ ( u , t ) ∈ G }    p^*=\inf\lbrace t\mid(u,t)\in G,u\le0\rbrace\\ g(\lambda)=\inf\lbrace\lambda\cdot u+t\mid(u,t)\in G\rbrace\ \ p∗=inf{t∣(u,t)∈G,u≤0}g(λ)=inf{λ⋅u+t∣(u,t)∈G}  
先上结论：

图1

图1是弱对偶的情况。

图2

图3

图2和图3是强对偶的情况。
这个几何解释的思路有些绕，但是很巧妙，我会尽量用简单的语句解释。

首先，我们定义一个坐标轴，它的横轴是$u$，也就是$f_1(x)$，纵轴是$t$也就是$f_0(x)$。那么 p ∗ = inf ⁡ { t ∣ ( u , t ) ∈ G , u ≤ 0 } p^*=\inf\lbrace t\mid(u,t)\in G,u\le0\rbrace p∗=inf{t∣(u,t)∈G,u≤0}就很好理解了，即在$f_1(x)\le 0$的情况下求$f_0(x)$的最小值，显然和原问题等价。同理， g ( λ ) = inf ⁡ { λ ⋅ u + t ∣ ( u , t ) ∈ G } g(\lambda)=\inf\lbrace\lambda\cdot u+t\mid(u,t)\in G\rbrace g(λ)=inf{λ⋅u+t∣(u,t)∈G}的定义也很好理解。
在这个$t-u$坐标轴中，我们考虑$g(\lambda )$要求下确界的这么一条直线$l:\lambda u+t=b$,其中很显然，$-\lambda$是$l$的斜率，$b$是截距。我们首先要最小化这个截距，但是$l$是只能在$G$里面动的，所以$b$的下降，最终一定是切在$G$上的（图1中由不可行到可行，讲课的时候老师绕了一下，本质上是一样的）。求出$g(\lambda )$后，我们就可以求$d^{\ast }$了，那么此时$\max g(\lambda )$是一个改变斜率的过程，改成同时切$G$的两个点，得到的$b$就是$d^{\ast }$。
由图1可以看到，$p^{\ast }\ge d^{\ast }$。

二、鞍点理解

若存在先从$x$方向求极小再向$y$方向求极大得到的点与先从$y$方向求极大再向$x$方向求极小得到的点是同一个点，则称其为鞍点。
对于一个优化问题，通常有：
$$\begin{gathered} d^{\ast }=\underset{\lambda \ge 0}{\sup }\underset{x\in D}{\inf }l(x,\lambda ) \\ {p}^{\ast }=\underset{x\in D}{\inf }\underset{\lambda \ge 0}{\sup }l(x,\lambda ) \end{gathered}$$
$d^{\ast }$很好理解，它的定义就是这样的，我们来看看$p^{\ast }$:
$$\begin{array}{rl}{p}^{\ast }& =\underset{x\in D}{\inf }\underset{\lambda \ge 0}{\sup }l(x,\lambda )\\ & =\underset{x\in D}{\inf }\underset{\lambda \ge 0}{\sup }{f}_0(x)+\sum _{i=1}^n{\lambda }_i{f}_i(x)\\ & =\underset{x\in D}{\inf }\{\begin{array}{ll}{f}_0(x)& \forall i{f}_i(x)\le 0\\ +\infty & \exists i{f}_i(x)>0\end{array}\\ & =\underset{x\in D}{\inf }{f}_0(x)\forall i{f}_i(x)\le 0\end{array}$$
显然和原问题等价。

我们来分析$p^{\ast }$和$d^{\ast }$。一般情况下，我们都有：
$$\underset{\lambda \ge 0}{\sup }\underset{x\in D}{\inf }l(x,\lambda )\le \underset{x\in D}{\inf }\underset{\lambda \ge 0}{\sup }l(x,\lambda )$$
这是一个鸡头和凤尾的比较，很好理解，故，在没有鞍点的情况下：
$$d^{\ast }\le p^{\ast }$$
但，若对于$l$，其是个有鞍点的函数，那么此时$p^{\ast }=d^{\ast }$。
此时拉格朗日函数可能会长成这样：

那么，我们称$(x^{\ast },{\lambda }^{\ast })$为鞍点。

三、多目标优化角度理解

多目标优化：

min ⁡ { f 0 ( x ) , ⋯ f m ( x ) } \begin{aligned} \min&&\lbrace f_{0}(x),\cdots f_m(x)\rbrace&\\ \end{aligned}\\ min​​{f0​(x),⋯fm​(x)}​​
单目标优化：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1,\cdots ,m\end{array}$$
在之前的学习中，我们学到多目标优化可以转换为：
$$\begin{array}{rlrl}\min & & \sum _{i=0}^m{\lambda }_i{f}_i(x)& \end{array}$$
我们取一个特殊的权：
$$\begin{array}{rlrl}\min & & f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)& \end{array}$$
这不就是单目标优化中的$g$吗？即多目标优化等价于求单目标优化的$g$。
当这个单目标优化问题是由多目标优化问题转化而来，记单目标优化问题为1，多目标优化问题为2，有：
$$\begin{array}{rl}{p}_2^{\ast }& =g_1(\lambda )\end{array}$$
当单目标优化中$d^{\ast }=p^{\ast }$时，可以认为单目标优化的最优解等价于多目标优化的一个最优解，因为单目标优化还要求一个$\max$，而多目标优化只求到$\min$。

四、经济学角度理解

设有一工厂，$x$为生产商品的数量，$f_0(x)$为工厂的损失，$f_i(x)$为原材料的约束，有就为负。当原材料不可交易时：
$$\begin{array}{rlrl}\min & & f_0(x)& \\ (\text{P})\text{s.t.}& & f_i(x)& \le 0i=1\cdots m\end{array}$$

当原材料可交易时，${\lambda }_i\ge 0$为交易价格：
$$\begin{array}{rlrl}\max & & g(\lambda )& \\ (\text{D})\text{s.t.}& & \lambda \ge 0& \end{array}$$
一个是计划经济，一个是市场经济，从常识角度考虑，一般都有：
$d^{\ast }\le p^{\ast }$：表示当原材料可交易时，你的最大损失小于等于原材料不可交易时的最小损失。
$d^{\ast }=p^{\ast }$：表示原材料刚好用完或原材料价格为零。

个人思考

鞍点的角度给了我一个新的思考方式，在以后判断是否为强对偶时，我们可以通过分析拉格朗日函数是否为有鞍点的函数来达到这个目的。

纸质笔记