鲁棒优化理论-承诺兑现

再学鲁棒优化理论，已是2023年。三年前我想梳理鲁棒优化理论的框架（http://t.csdn.cn/mw1km），获感兴趣的读者3人次点赞，4人次评论，却迟迟未能兑现。如今学业暂时告一段落，感谢屡败屡战的自己，仅以下文，了却心事，继往开来。
2.2.1 鲁棒优化的基本概念
鲁棒优化是处理含有不确定参数的优化问题的一种相对新颖的方法论。以最坏情况下的收益最大化为指导思想，鲁棒优化基于不确定性集合构建数学模型，其求解结果对于给定集合中的任何不确定性实现都是可行的(Ben-Tal et al., 2009)。
在管理科学与工程领域，鲁棒优化不是一个新概念。长期以来，对现实问题的建模与优化饱受参数不确定性的困扰，优化结果对其参数扰动可以表现出显著的敏感性。在Ben-Tal et al. (2009)的专著中以线性规划问题PILOT4为例进行演示，并详细论述了这种现象的普遍性。这种敏感性通常使耗费大量资源计算出的优化方案在实际执行中达不到预期目的或者不可行，甚至毫无应用价值。借助敏感性分析可以证明鲁棒优化的必要性，但本质上敏感性分析是一种事后控制的方法，而鲁棒优化是一种事前控制的方法。
与鲁棒优化紧密联系的概念是鲁棒控制。二者存在许多高度相似之处，并且开发鲁棒优化方法的动机主要来自鲁棒控制研究，即控制输出的结果对输入信号的噪声干扰不敏感。但鲁棒优化是一个截然不同的研究领域，其专注于传统优化理论在不确定条件下的拓展，特别是数据处理方法、模型结构和算法实现上的易处理性，也包括具体应用领域的问题建模和求解结果分析，以及复杂系统的鲁棒性设置。
与鲁棒优化高度相关的另一个概念是随机优化。随机优化通过假设不确定性服从某一概率分布来构建数学模型，而鲁棒优化则放松了这一假设。随机优化具有悠久的历史，正是对随机优化概率分布假设的怀疑直接推动了鲁棒优化早期思想的产生。因此，决策者不是在某种概率意义上寻求应对不确定性的最优解决方案，而是得到一个不是最差的确定性的解决方案，即首先要保证可行性，其次追求最优性。
然而如同其他方法一样，应用鲁棒优化方法也有其决策环境假设，可概括为以下三条(Ben-Tal et al., 2009)：1）优化问题中含有不确定参数，在求解问题时决策者需要估计但又难以估计这些参数的具体值；2）决策者仅对依据不确定性集合中的参数所做出的决策负责；3）优化问题的约束是刚性的，决策者不允许不确定性集合中的参数取值违反约束，或无法承受违反约束带来的灾难性结果。
作为理论基础，以下从鲁棒模型的计算可处理性(Bertsimas and Sim, 2006)、鲁棒优化方法的鲁棒性与保守性(Bertsimas and Sim, 2004)、鲁棒优化理论框架的灵活性(Ben-Tal and Nemirovski, 2002)三方面进行概述。对鲁棒优化理论感兴趣的读者可参阅Ben-Tal et al. (2009)、Kouvelis and Yu (1997)的经典专著，Bertsimas et al. (2011)、Gabrel et al. (2014)、Lu and Shen (2021)关于鲁棒优化的综述长文，Ben-Tal and Nemirovski (2002)、Gorissen et al. (2015)关于鲁棒优化方法的应用指导。

（1）计算可处理性
鲁棒模型的计算可处理性是相对于原优化问题而言的，通常原优化问题的鲁棒模型是“不易处理的”。这里的易处理是指原优化问题的鲁棒模型可以直接或间接在多项式时间内求解，例如能够转化为已知求解算法的等价问题。若原优化问题可以直接或间接在多项式时间内求解，其对应的鲁棒模型不能直接或间接在多项式时间内求解，则称该问题的鲁棒模型是“不易处理的”。对于部分经典的优化问题，包括LP、QCQP、SOCP、SDP，以及一些离散问题，学者们已开发了相应的“易处理”的鲁棒优化公式。结合实际问题，在选择具体的鲁棒优化方法时应注意保留计算的可处理性。
（2）鲁棒性与保守性
鲁棒优化方法通过构造确定性的解决方案，不受集合中某些不确定参数的影响，这一特征称为求解结果的鲁棒性。保守性是指采用鲁棒优化方法相对于随机优化等替代方法，求解结果虽具有应对最坏情况下不确定性的能力（鲁棒性），但可能会引起其他优化目标的劣化，以至于代价过于高昂。较高的保守性也就意味着设计鲁棒模型时缺少鲁棒性与其他优化目标的折衷。
当参数不确定性不是随机的，或者概率分布信息不容易获得时，鲁棒优化方法可能是唯一合理的选择。但是，即使存在潜在的概率分布，鲁棒优化方法的“易处理”优势也可能使其比随机优化等替代方法更具吸引力。在这种情况下，我们可能会要求为不确定性集合的结构和大小选择函数，以先验地计算出鲁棒性的概率。例如，不确定性集合的参数化提供了不确定性预算的概念，这样方便折衷鲁棒性和其他优化目标，并且还可以选择相应级别的概率保证。特别地，这种概率保证可能产生令人惊讶的高性价比。因此，尽管鲁棒优化方法总是从最坏的情况出发，但求解结果不必过于保守。在许多情况下，与随机优化产生的解决方案相比，代价非常接近。
（3）灵活性
将原优化问题构建为鲁棒模型，须考虑原优化问题本身的属性，选择合适的优化工具和不确定性集合，进而将不确定性参数引入鲁棒模型，这种基于不确定性集合构建鲁棒模型的泛化能力称为鲁棒优化理论框架的灵活性。鲁棒优化理论框架提供了多种优化工具和对应的不确定性集合，不仅覆盖经典的优化问题，还在具体应用中不断丰富工具集和积累用法。例如，在统计领域，鲁棒优化理论框架被用作构建解决方案的工具，这种解决方案包括稀疏性、稳定性或统计一致性等属性。
总之，鲁棒优化理论不仅涵盖应对不确定性的优化思想与一般框架，还提供处理不确定参数的一整套工具与方法。这些工具与方法可以在数学建模上处理两种类型的不确定性，包括“模型错误”和“数据噪声”，并以不确定性集合这种可控方式引入这些不确定性。接下来，以鲁棒线性优化为例介绍鲁棒优化的一般框架。
鲁棒优化的一般框架
使用鲁棒优化工具与方法，可以将原优化问题转化为与之对应的鲁棒模型。不失一般性，将含有不确定参数的线性优化问题记为：
min⁡〖c^T x+d〗 ( 2.28 )
s.t. Ax≤b,(c^T,d;A,b)∈U ( 2.29 )
其中，x为n×1决策变量，c^T为1×n行向量，A为m×n系数矩阵，b为n×1列向量，d为常数，U为包含所有可能的参数取值的集合，称为不确定性集合。根据Ben-Tal and Nemirovski (2002)、Bertsimas and Sim (2004)、Delage and Ye (2010)等学者的研究，恰当选择不确定性集合可以充分利用有效信息，有利于鲁棒模型的求解，同时避免求解过于保守。常用的不确定性集合U的类型如下：
场景不确定性集合(Scenario Perturbation Set)
U§=Conv{p^1,…,pk } ( 2.30 )
其中，p^1,…,pk∈R^(m×n)，扰动参数p在给定的k个有限场景中取值。U§是一种最为简单的凸包(Convex Hull)不确定性集合，在小规模预设场景下可以逐个检验参数的不同取值，以保证求解结果的可行性，但这种解法不适用场景规模较大的情况(Mulvey et al., 1995)。随着人工智能的应用，在场景规模较大时可使用基于智能场景模糊集的优化算法加快求解速度(Hao et al., 2020)。
区间不确定性集合(Interval Uncertainty Set)
U_∞={p∈R^n:〖 ‖p‖〗_∞≤r }={p∈R^n:▁p≤p≤¯p } ( 2.31 )
其中, r为给定的正数，〖 ‖p‖〗_∞为R^n上的范数，¯p 和 ▁(“p” ) 分别代表区间上下界。区间集U_∞也被称为箱型集(Box Uncertainty Set)，是一类较为简单的有界不确定性集合。由于鲁棒优化考虑最坏情况下的最优解，基于区间集建模，可能出现所有扰动参数都在区间上下界进行取值的情况，但实际中这种情况发生的可能性极低，很容易出现求解过度保守的现象。为避免求解过于保守，Bertsimas and Sim (2004)最早引入了预算受限的多面体区间集：
U(Γ)=U_1={p=p_0+ζp ̂:〖p ∈R^n,‖ζ‖〗_1≤Γ ,〖 ‖ζ‖〗_∞≤1 } ( 2.32 )
其中，Γ为不确定性预算总额。当Γ=0时，扰动参数p等于预测值p_0。当Γ=n时，扰动参数p可以在区间[p_0-p ̂,〖 p〗_0+ p ̂ ]内任意取值。预算受限的多面体区间集是基于预测值的相对偏移量构建的，能够更准确的描述扰动参数的分布。而且采用线性结构，易于操作，在实际应用中广受青睐，如物流网络设计(Atamtürk and Zhang, 2007)、车辆路径问题(Lee et al., 2012)、库存管理(Bertsimas and Thiele, 2006)、项目管理(Bruni et al., 2017)等。
似然不确定性集合(Likelihood Uncertainty Set)
U(ρ)={p∈R^{n:L§=∑_(i=1)}n▒〖q(i) ln⁡(q(i)/p(i) ) 〗≤ρ} ( 2.33 )
其中，扰动参数p分布未知，q∈R^n是给定的参照分布，ρ为扰动参数p的不确定性预算水平。当ρ=0时，U(ρ)={q}，也即似然不确定性集合退化为已知概率分布的参照集，当ρ>0时，可根据历史数据构造具有一定置信区间的不确定性集合。
相对熵不确定性集合(Relative Entropy Uncertainty Set)
U(ρ)={p∈R^{n:D(p∥q)=∑_(i=1)}n▒〖p(i) ln⁡(p(i)/q(i) ) 〗≤ρ} ( 2.34 )
其中，D(p∥q)为分布未知的扰动参数p和参照分布q之间的Kullback-Leibler散度(Ben-Tal et al., 2009; Hu and Hong, 2013)。相对熵不确定性集合是将似然不确定性集合中的参照分布与未知分布的位置对换而得到的，是两个概率分布的不对称性度量。在此意义上，D(p∥q) 又称为前向Kullback-Leibler散度，相应的D(q∥p)称为后向Kullback-Leibler散度。同理，相对熵不确定性集合也利用不确定性预算水平ρ控制未知分布与参照分布之间的差异：当两者分布相同时，相对熵为零；当两者分布差别增大时，相对熵随之增大。
椭球不确定性集合(Ellipsoidal Uncertainty Set)
U(ρ)=U_2={p∈R^n:〖 ‖p‖〗_2≤ρ }={p∈R^n:∑_(i=1)n▒〖〖p_i〗^2≤ρ2 〗} ( 2.35 )
U(ρ)=U_∩={p∈R^n:(p-q)T H(p-q)≤ρ^2 } ( 2.36 )
其中，H为扰动参数p和参照分布q的协方差矩阵，当q=0时式U_∩简化为U_2。在Boyd (2004)的经典著作《Convex Optimization》中称U_2为退化的椭球集，U_∩为椭球集。在Ben-Tal et al. (2009)的经典著作《Robust Optimization》中称U_2为简单椭球集(Simple Ellipsoidal Uncertainty Set），U_∩为椭球交集(∩-Ellipsoidal Uncertainty Set)。为便于区别，这里以Ben-tal的分类为准。相对于简单椭球集，椭球交集能更准确地对扰动参数进行描述，但是求解更为复杂。例如，在求解线性规划、二次规划、二阶锥规划、半定规划等问题时，若采用简单椭球集，便于转化为可处理问题，若采用椭球交集，模型将难以直接求解。
当分布信息不完整或部分已知时，椭球不确定性集合、相对熵不确定性集合、似然不确定性集合能够在最大程度上排除错误数据的不利影响(Bertsimas et al., 2018; Bertsimas and Nohadani, 2019)。这三种不确定性集合在数据驱动的分布鲁棒优化中应用较多，例如，数据驱动的需求预测和库存管理(Mohajerin Esfahani and Kuhn, 2018)。此外，基于分布鲁棒模糊集研究数据驱动的车辆路径问题是一个新趋势，代表性方法有Wasserstein Distance–based Ambiguity Set，详见Zhang et al. (2021)。
为求解含有不确定性集合的优化问题，鲁棒优化以寻找最坏情况下的最优解为导向，即让不确定参数在最坏情况下取值以保证求解结果的可行性，然后在此基础上优化求解结果。在鲁棒优化的文献中，Kouvelis and Yu (1997)提出的三个决策标准被广泛采纳：1）绝对鲁棒优化，即优化最坏情况下的鲁棒可行解；2）最小化最大后悔值，即优化目标值与事后最佳目标值的差额；3）相对鲁棒优化，即优化目标值与事后最佳目标值的比率。这里以线性问题的绝对鲁棒优化为例，说明鲁棒可行解、鲁棒最优解、鲁棒目标值和鲁棒最优目标值的定义。
若一个候选解x对参数在不确定性集合中的任意取值，都满足约束条件( 2.29 )，则称为鲁棒可行解。若给定一个鲁棒可行解x，允许参数在不确定性集合中任意取值，使得目标函数( 2.28 )取大值，则称该最大值为鲁棒可行解x对应的鲁棒目标值，记为：
c ̂(x)=sup┬((c^{T,d;A,b)∈U)⁡〖[c}T x+d]〗 ( 2.37 )
使鲁棒目标值( 2.37 )取最小值的鲁棒可行解称为鲁棒最优解，对应的鲁棒目标值称为鲁棒最优目标值。于是，将含有不确定参数的线性优化问题( 2.28 )转化为对应的鲁棒模型：
(min⁡{)┬x⁡〖c ̂(x)=sup┬((c^{T,d;A,b)∈U)⁡〖[c}T x+d]〗: Ax≤b,(c^T,d;A,b)∈U〗} ( 2.38 )
通过求解鲁棒模型( 2.38 )，即可得到鲁棒最优解和鲁棒最优目标值。
……
以上仅是个引子，由于版权问题，详细内容参见：
[1]赵磊. 卡车与无人机两级配送网络鲁棒优化模型及算法研究[D].吉林大学,2022.DOI:10.27162/d.cnki.gjlin.2022.007765.