【鲁棒优化】| 补充证明:为什么最优解时一定有$y^{*} = |x^{*}|$ (论文笔记：The Price of Robustness)

作者：刘兴禄，清华大学，博士在读

欢迎关注我们的微信公众号 运小筹

上篇推文有一处证明我省略了，个别小伙伴觉得想不清楚，来问我了。我这里写个补充证明分享给大家。

另外上篇推文也有几处小笔误，由于文章不能更改了，这里来更正一下。在文章的最后部分。

补充证明：为什么最优解时一定有$y^{\ast }=|x^{\ast }|$

这个说起来很直观，但是我还是来证明一下：

命题：考虑下面的问题
$$\begin{array}{rlrl}\max & \mathbf{c}\mathbf{x}& & \\ s.t.& \sum _j{a}_{ij}{x}_j+\sum _{j\in J_i}{\hat{a}}_{ij}{y}_j⩽b_i,& \forall i& \\ & y_j⩾|x_j|,& & \forall j\\ & \mathbf{l}⩽\mathbf{x}⩽\mathbf{u}& & \\ & \mathbf{y}⩾0& & \end{array}$$
则在最优解中，一定有$y^{\ast }=|x^{\ast }|$。

证明：
（反证法）假设最优解为$({\mathbf{y}}^{\ast },{\mathbf{x}}^{\ast })$, 根据约束，他们一定满足${\mathbf{y}}^{\ast }⩾|{\mathbf{x}}^{\ast }|$。

这里包含且仅包含两种情形：${\mathbf{y}}^{\ast }>|{\mathbf{x}}^{\ast }|$或者${\mathbf{y}}^{\ast }=|{\mathbf{x}}^{\ast }|$。

如果最优解满足：${\mathbf{y}}^{\ast }>|{\mathbf{x}}^{\ast }|$， 约束2显然满足。

我们再来分析约束1。根据$|{\mathbf{x}}^{\ast }|<{\mathbf{y}}^{\ast }$，可得
$$\begin{array}{rl}\sum _j{a}_{ij}{x}_j^{\ast }+\sum _{j\in J_i}{\hat{a}}_{ij}{x}_j^{\ast }<\sum _j{a}_{ij}{x}_j^{\ast }+\sum _{j\in J_i}{\hat{a}}_{ij}{y}_j^{\ast }⩽b_i,& \forall i(\ast )\end{array}$$
由于目标函数为$\max \mathbf{c}\mathbf{x}$，随着$\mathbf{x}$增大，单调递增。而$(\ast )$式显示，一定$\exists x_j^{\ast }$还有可以增大的空间，并且使得原问题可行。因此我们有，必然$\exists (\bar{\mathbf{y}},\bar{\mathbf{x}})$使得原问题可行（这里其实更专业的写法是写成$\exists (\bar{\mathbf{y}},\bar{\mathbf{x}})\in \mathbf{S}$，其中$\mathbf{S}$表示上述问题的可行域，意思就是说这个也是个可行解。这里我只是提及一下）， 并且使得$\bar{\mathbf{x}}$中所有分量都不小于${\mathbf{x}}^{\ast }$的分量，即
$${\bar{x}}_j⩾x_j^{\ast },\forall j$$。并且至少存在一个分量严格大于${\mathbf{x}}^{\ast }$的分量，即并且$\exists j^{\prime }$，满足
$$\begin{array}{r}{\bar{x}}_{j^{\prime }}>x_{j^{\prime }}^{\ast }\end{array}$$
由于$(\bar{\mathbf{y}},\bar{\mathbf{x}})$是可行解，所以下面条件一定满足 （实际上这一句可以不要）
$$\begin{array}{r}\sum _j{a}_{ij}{\bar{x}}_j+\sum _{j\in J_i}{\hat{a}}_{ij}{\bar{y}}_j⩽b_i\end{array}$$
因此，可行解$(\bar{\mathbf{y}},\bar{\mathbf{x}})$必然导致$\mathbf{c}\bar{\mathbf{x}}>\mathbf{c}{\mathbf{x}}^{\ast }$，从而推出$({\mathbf{y}}^{\ast },{\mathbf{x}}^{\ast })$不是最优解。但是这与原假设矛盾。所以我们得出，另外一种情况必然成立，即${\mathbf{y}}^{\ast }=|{\mathbf{x}}^{\ast }|$。

综上，若$({\mathbf{y}}^{\ast },{\mathbf{x}}^{\ast })$为问题的最优解，则一定满足${\mathbf{y}}^{\ast }=|{\mathbf{x}}^{\ast }|$。原命题得证。

拓展：符合条件的$j^{\prime }$如何找？为什么一定存在$j^{\prime }$使得$x_j$增大且原问题可行

上面已经证明了原命题，其实只需要做到上面的部分，这个问题就可以结束了。不过，我还是想从纯数学语言的角度来证明上面的一句话：

一定$\exists x_j^{\ast }$还有可以增大的空间，并且使得原问题可行。

这句话，我还是想继续来硬钢一下，也顺便练练手。

先把这一段搬过来

必然$\exists (\bar{\mathbf{y}},\bar{\mathbf{x}})$使得原问题可行（这里其实更专业的写法是写成$\exists (\bar{\mathbf{y}},\bar{\mathbf{x}})\in \mathbf{S}$，其中$\mathbf{S}$表示上述问题的可行域，意思就是说这个也是个可行解。这里我只是提及一下）， 并且使得$\bar{\mathbf{x}}$中所有分量都不小于${\mathbf{x}}^{\ast }$的分量，即
$${\bar{x}}_j⩾x_j^{\ast },\forall j$$。并且至少存在一个分量严格大于${\mathbf{x}}^{\ast }$的分量，即并且$\exists j^{\prime }$，满足
$$\begin{array}{r}{\bar{x}}_{j^{\prime }}>x_{j^{\prime }}^{\ast }\end{array}$$

这一部分，如果要再用数学语言表达的精确一些，就是：

• 必然存在正数${ϵ}_1,{ϵ}_2>0$以及至少存在一对下标$j_1,j_2$满足下面的条件：

1. 令${\bar{x}}_{j_1}=x_{j_1}^{\ast }+{ϵ}_1$，${\bar{y}}_{j_2}=y_{j_2}^{\ast }-{ϵ}_2$，且
2. 满足$$\begin{array}{r}\sum _{j\ne j_1}{a}_{ij}{x}_j^{\ast }+\sum _{j\in J_i,j\ne j_2}{\hat{a}}_{ij}{y}_j^{\ast }+\left[a_{i,j_1}{\bar{x}}_{j_1}+{\hat{a}}_{i,j_2}{\bar{y}}_{j_2}\right]⩽b_i,\forall i\end{array}$$

• 满足上面条件的${ϵ}_1,{ϵ}_2>0$比较好找，只需要满足
  $$\begin{array}{r}{a}_{i,j_1}{\bar{x}}_{j_1}+{\hat{a}}_{i,j_2}{\bar{y}}_{j_2}⩽a_{i,j_1}{x}_{j_1}^{\ast }+{\hat{a}}_{i,j_2}{y}_{j_2}^{\ast }\forall i\end{array}$$
  即可。即
  $$\begin{array}{r}{a}_{i,j_1}(x_{j_1}^{\ast }+{ϵ}_1)+{\hat{a}}_{i,j_2}(y_{j_2}^{\ast }-{ϵ}_2)⩽a_{i,j_1}{x}_{j_1}^{\ast }+{\hat{a}}_{i,j_2}{y}_{j_2}^{\ast }\forall i\end{array}$$
  整理得
  $$\begin{array}{rl}& a_{i,j_1}\cdot {ϵ}_1-{\hat{a}}_{i,j_2}\cdot {ϵ}_2⩽0\forall i\\ ⟺& a_{i,j_1}\cdot {ϵ}_1⩽{\hat{a}}_{i,j_2}\cdot {ϵ}_2\forall i\\ ⟺& \frac{{ϵ}_1}{{ϵ}_2}⩽\frac{{\hat{a}}_{i,j_2}}{a_{i,j_1}}\forall i\\ ⟺& \frac{{ϵ}_1}{{ϵ}_2}⩽\underset{i}{\min }\left\{\frac{{\hat{a}}_{i,j_2}}{a_{i,j_1}}\right\}={\beta }_0(\ast \ast )\end{array}$$

所以，只需要取${ϵ}_1,{ϵ}_2>0$，且${ϵ}_1⩽x_{j_1}^{\ast },{ϵ}_2⩽y_{j_2}^{\ast }$，使得$\frac{{ϵ}_1}{{ϵ}_2}⩽{\beta }_0$即可。
下面来解释一对下标$j_1,j_2$如何选取 （这里令所有变量下标集合为$J$）。
我们令 I 1 = { j ∣ x j < u j , ∣ x j ∣ < y j , ∀ j ∈ J } I_1 = \{j | x_j < \mathbf{u}_j, |x_j| < y_j, \forall j \in J\} I1​={j∣xj​<uj​,∣xj​∣<yj​,∀j∈J}
令 I 2 = { j ∣ y j > ∣ x j ∣ } I_2 = \{j | y_j > |x_j|\} I2​={j∣yj​>∣xj​∣}.

具体操作方法：

1. 从$I_1$中选取任意一个元素作为$j_1$；从$I_2$中选取任意一个元素作为$j_2$；
2. 根据${\beta }_0=\underset{i}{\min }\left\{\frac{{\hat{a}}_{i,j_2}}{a_{i,j_1}}\right\}$计算${\beta }_0$;
3. 根据$\frac{{ϵ}_1}{{ϵ}_2}⩽{\beta }_0$，选择适合的${ϵ}_1,{ϵ}_2$即可。

找到了${ϵ}_1,{ϵ}_2$和$j_1,j_2$，我们就可以将$({\mathbf{y}}^{\ast },{\mathbf{x}}^{\ast })$中的值做以
下更新：${\bar{x}}_{j_1}=x_{j_1}^{\ast }+{ϵ}_1$，${\bar{y}}_{j_2}=y_{j_2}^{\ast }-{ϵ}_2$，这样就可以得到
新的解$\bar{\mathbf{x}}$，这个$\bar{\mathbf{x}}$就可以使得$\mathbf{c}\bar{\mathbf{x}}>\mathbf{c}{\mathbf{x}}^{\ast }$。

到这里，用纯数学的语言，我们就把这个事儿全说清楚了，我也是累了，到此为止吧，哈哈。

笔误更正：$\min cx\to \max cx$

---

** 作者： 刘兴禄， 清华大学博士在读**

---

欢迎关注我们的微信公众号 运小筹

公众号往期推文如下