Decision-Driven Regularization A Blended Model for Predict-then-Optimize

摘要

在上下文优化中，决策者寻求最佳决策以最小化成本，该成本基于观察到的特征而变化。这种上下文在许多业务应用程序中很常见，从按需交付和零售运营到投资组合优化和库存管理。在本文中，我们研究了预测然后优化的方法，该方法首先了解结果如何从特征中产生，然后根据这些结果选择最佳决策。由于无法获得真实结果，我们在文献中发现成本函数的定义存在歧义。为了解决这个问题，我们提出了一个混合的预测然后优化框架，该框架可能会导致对结果的预测有偏差，但可以轻松地将优化问题纳入预测阶段。这是通过决策驱动的正则化实现的。

我们批判性地表明，可以从三个角度来解决预测然后优化问题，即正则化、鲁棒优化和后悔最小化方法；并证明这些观点等效于或可以自然地近似以得出我们提出的模型。因此，我们的框架概括了 Elmachtoub 和 Grigas（2020）中的 SPO+ 和 Zhu 等人中的 JERO 等模型。(2020)。基于我们的框架，我们提出了混合模型，我们在数值上展示了在低错误规格下优于 SPO+

１引言

在不确定性设置下的许多决策中，优化目标和约束是通过使用数据来估计的。名义上，这可以写成以下成本最小化问题

公式

对于一些决策变量 y ∈ Y 和一些未观察到的参数 z。一个例子是自适应路由的上下文，例如按需交付服务所面临的上下文（也在 Elmachtoub 和 Grigas 2020 中讨论过）。 假设决策者要选择 d 条路线来运送包裹。
然后，z 可能代表在这些路线中的每条路线上花费的未观察到的时间，而 y 可以代表选择哪条路线的决定。 总共花费的时间为 c(y; z) = y >z。
这个问题是历史背景。 最近，重点是如何使用可能描述未观察到的结果 z 的数据来做出正确的决策 y，同时认识到这些数据并不能完全代表生成它们的 z 的真实分布。 这导致了数据驱动的稳健优化模型（例如 Van Parys 等人 2020、Sutter 等人 2020）的工作流，其中分布以模糊集为特征，通常在某种发散度量下（Ben -Tal 等人 2013，Lam 2016 年），或构建为围绕每个数据点的球，例如在 Wasserstein 歧义集中（Gao 等人 2017，Mohajerin Esfahani 和 Kuhn 2018）。

1.1 上下文随机优化

研究的重点越来越多地转移到存在可能有助于估计未观察到的 z 的附加信息的设置。我们将表示为 x 的这些信息有时称为特征（或辅助信息或协变量）。决策者希望根据此附加信息 y(x)（den Hertog 和 Postek 2016）做出不同的决定。回到自适应路由的例子，这里，如果决策者有 n 个包裹要交付，那么可以想象，这些包裹中的每一个的最佳路线选择应该不同。但当然，每个包裹在这些路线上实际花费的时间是未知的，可能会因目的地、一天中的时间、当前的拥堵情况、当前的天气等因素而有所不同。这些因素在做出决定的点，它们形成了特征。特别是，决策者拥有一个历史数据集，有助于推断旅行时间与此类特征之间的关系。

此设置通常称为上下文随机优化（或有时称为决策感知学习或联合预测和优化）。它越来越普遍，可以在从按需交付（Liu 等人，2020 年）到零售运营（Ferreira 等人，2016 年，Perakis 等人，2018 年）以及投资组合优化（Ban 等人，2018 年）等各种环境中看到。 2018）到库存管理（Craig 和 Raman 2016、Qi 等人 2020、Siegel 和 Wagner 2020）等等。

通常的提法是一个可能在这种情况下写的是以下优化问题：

公式1

其中 y( · ) 是决策者希望解决的决策规则，在一些被考虑为 Y 的函数类别中，结果 z 和特征 x 之间存在一些固有的但目前未知的关系 z|x .

这样的表述构成了 Deng 和 Sen（2018 年）、Bertsimas 和 McCord（2019 年）、Bertsimas 和 Kallus（2020 年）、Kallus 和毛泽东（2020 年）、Kannan 等人的最佳特征作品的起点。

(2020)。在这种情况下，函数类 Y 的选择对于确保易处理性很重要。

最简单的是线性决策规则（例如，在 Beutel 和 Minner 2012、Ban 和 Rudin 2019 中提出的）。在某些情况下，如果利用结构（即 z 和 x 之间关系的性质），可以考虑更复杂的类，例如 Bertsimas 等人。(2019)，作者考虑了决策的树结构，在这种情况下是治疗组的分配。

使用 (1) 中第二种形式的替代方法需要估计期望 Ez|x。通过将决策构建为加权样本平均近似 (SAA) 的解决方案，提出了一种解决此类公式的方法。在这里，权重将被最优确定，例如，在 Bertsimas 和 Kallus (2020) 中，作者通过回归方法选择权重，例如 k-最近邻 (kNN)、核、分类和回归树 (CART)，或随机森林（RF）。Ban 和 Rudin (2019) 也提出了这种方法来解决报童问题。

1.2 先预测后优化

该文献的一个子流特别研究了以下解决确定性问题的方法，

公式2

其中，z是一些估计器，用于与所述特征量x，其被称为预测而变化的结果。这称为预测然后优化 (PTO) 框架，因为它涉及两个阶段。首先，在预测阶段，估计ž从数据获悉。这可以通过一个学习过程来实现，该过程估计一些假设的参数模型系列的权重，将结果与特征相关联。然后在随后的优化阶段，（2）使用所述估计z为解决代替未观察到的结果。传统上，这两个阶段是分开完成的（参见例如 Fisher 和 Vaidyanathan 2014、Ferreira 等人 2016、Glaeser 等人 2019），即
估计ž通过最大化在历史数据预测精度构成，是无知后续优化问题的。
然而，有越来越多的证据在文献中，它指向导电的次优预测-则-优化分开（参见例如Liyanage和Shanthikumar 2005，Mundru 2019）。许多这样的方法，最大限度地提高精度导致零偏估计。在形式上，这不会以及解决分钟y的问题进行∈ ýC（Y;的Ez | X [Z]）通常不等同于（1）。在第2节之后，我们将提供在为什么连方法，最大限度提高准确性和不会导致零偏估计，不会是最佳的更多的理由。
这些结果的存在提示方法的搜索条件的导致非零偏置估计Ž ，以及结合有关于成本函数c信息（· ; ·在其中形成这些估计的方式）。在这里，我们将它们称为“联合预测然后优化” 。早期的尝试是经验优化（例如 Haussler 1992，Bartlett 和 Mendelson 2006），它最大限度地减少了训练数据可能导致的决策损失。然而，它并不总是易于处理的，特别是当作为所选估计器的函数的最优决策没有封闭形式的表示时。当训练数据不足时，它也有可能过度拟合，导致性能不佳（如 Kao 等人 2009 所指出的）。
另一个最早的尝试是 Kao 等人。(2009)，旨在通过寻求与预测准确性的权衡来解决经验优化模型的潜在过度拟合问题。这是通过零偏差权重和从经验优化获得的权重的凸组合在参数设置中完成的。这种在解决方案空间或优化目标中直接结合预测精度和成本函数的概念，后来也得到了 Kao 和 Van Roy（2014 年）以及 Bertsimas 等人的回应。(2019)。
虽然高锟等人的作品。（2009）和花王和Van罗伊（2014）更具体地集中于特殊情况下，诸如二次成本函数而在后者的主成分分析，作品下一波旨在解决联合预测-则-优化一般估计上下文和成本函数。怀尔德等。（2019），例如，尝试共同解决用于估计Ž和（2）中，通过使用组合的优化技术。Gupta和Rusmevichientong（2021）具体地放大到小数据政权提出两类关于贝叶斯估计和正则化方法。他们还提到关于他们的论文偏差修正。
关于我们的工作，Elmachtoub 和 Grigas（2020 年）、Tulabandhula 和 Rudin（2013 年）以及 Zhu 等人的论文。(2020) 最密切相关。在 Elmachtoub 和 Grigas (2020) 中，作者提出了一个模型，该模型试图找到使遗憾最小化的一组预测变量。由于这可能会导致非凸公式，作者提出了一个凸松弛，他们证明了 Fisher 与原始模型一致。最近，他们的模型引起了极大的关注（获得了后续跟进，例如 El Balghiti 等人 2019、Mandi 等人 2020、Elmachtoub 等人 2020），尽管 Hu 等人。(2020) 反驳说，这种方法可能有一个缺点，例如收敛速度较慢。
Tulabandhula 和 Rudin (2013) 直接将决策目标纳入预测问题的损失函数中，并将其称为同步过程。在朱等人。(2020)，作者试图在参数模型中错误预测权重但位于损失函数几何结构下预测权重的邻域内的前提下，稳健地优化决策。他们的模型可以解释为先预测再优化的模型，其中估计量由最坏情况的权重构成。此外，Tulabandhula 和 Rudin (2013) 的结果将类似的稳健优化公式与他们提出的模型联系起来。
我们将在后面的第 2 节中详细介绍这些作品的选择。

1.3方法和贡献
在本文中，我们在联合预测然后优化设置中工作，在那里我们寻找有偏见的预测器，当与真实结果进行衡量时，这些预测器可以导致低成本政策。这是通过决策驱动的正则化将决策纳入学习过程来完成的，该正则化捕获如果在预测阶段选择了特定的权重选择，可以获得决策的最佳可能最优值。特别是，在这项工作中，我们做出了以下贡献：我们发现在predictthen-optimize框架下估计成本函数存在固有的歧义，并提出了一个近似真实成本函数的替代函数（命题1）；湾 我们以文献中的思想为基础，并提出了一个通用框架，将预测的选择与其对成本函数的影响联系起来，作为决策驱动的正则化；C。我们展示了可以从三个角度来解决预测然后优化问题，即正则化、鲁棒优化和后悔最小化的角度；并证明这些观点自然会导致类似的公式（定理 1 和 2）；d. 其结果是，我们证明了模型朱等人提出。(2020) 和 Elmachtoub 和 Grigas (2020) 是我们模型的特例（分别是命题 3 和 4）。此外，我们建议修改Elmachtoub和Grigas（2020） “ S模式我们低误规范下数字显示跑赢大盘。
在这里，我们想指出的是，虽然有大量工作将稳健优化与正则化联系起来（正如我们将在第 3.1 节中讨论的那样），但遗憾最小化和稳健优化之间的关系不太清楚，文献中也很少讨论。我们的贡献 C. 增加了这个讨论。通过绘制鲁棒优化和后悔最小化之间的联系，我们能够概括 Elmachtoub 和 Grigas（2020）以及 Zhu 等人的工作。(2020)。
提出的这些模型是从不同的角度构建的，并导致明显不同的公式。因此，我们要在此强调，两个模型都是特例的框架的存在并非显而易见。
由于类似的想法纳入成本为学习目标花王等人已经信奉。（2009），花王和Van罗伊（2014）和Bertsimas等。（2019），我们需要时间来这里从它们分化我们的工作。在Kao等。（2009）和花王和Van罗伊（2014），所提出的权重躺在线邻接零偏置权重和经验优化解决方案; 在我们的模型中，我们搜索了权重的整个空间。在Bertsimas等。（2019），它们的模型公式假定是基于树设定特定决策结构，并且如果它容易延伸到其中的决定不限制一般性设定目前尚不清楚。因此，相对于这三部作品，我们的论文集中在更一般的情况下，当遇到显著新的挑战。在这方面，我们的范围是最类似于Elmachtoub和Grigas（2020年），Tulabandhula和鲁丁（2013），和朱等人。(2020)。
论文组织 在介绍之后，第 2 节专门描述预测然后优化框架。之后，我们在第 3 节中提出了决策驱动的正则化框架，并说明从稳健优化或后悔最小化的角度进行处理会导致相同的模型。第 4 节用数字说明了我们在 DDR 模型中描述的行为。我们在第 5 节中总结了一些评论。 为了便于阅读，我们将所有证明推迟到附录 A 中。

2 预测再优化框架

考虑一个决策者，他的目标是借助数据来预测未来结果，从而最大限度地降低成本。我们将其表示为决策变量 y ∈ Y ⊆ R d 和成本函数 c(y; z) : Y × Z 7 → R的优化问题，其中 z ∈ Z ⊆ R s 是要预测的结果向量。理想情况下，如果决策者知道真正的结局Z = Z ^ 1，他们可以解决以下问题，以获得最佳的政策：
分钟ÿ ∈ ýC（Y; Z ），（3）
我们称之为甲骨文“小号的问题。
然而，Z是无法得知的决策者，因此需要进行估算。相反，决策者能够观察特征向量 x ∈ X ⊆ R p 。在这里，我们假设结果 z 可以完全由特征 x 决定，即存在一些函数 g(x) : X 7 → R s 使得 z = g(x)。虽然预言将能够解决分钟ý ∈ ýC（Y; Z （X））对于任意x，以获得它的决策规则Y（x）时，并因此有效地解决了分Y（x）的实施例[C（Y（ X）; Z （X））]，

决策者不知道这种关系ž （X），因此需要学习这个函数g。在参数设置中，决策者认为函数 g 位于一系列参数模型 f(x; w) : X × R q 7 → Z 中。在这里，我们将假设存在一些真实但不可观察的权重瓦特使得G（X）= F（X; W ）。 在现实中，决策者将观察结果嘈杂Ž 〜，这是从该机构Ž产生〜= F（X 〜; W ）+
˜关于训练特征 x ˜ ，对于某些实现
〜均值零和组件方式独立误差
. 特征和观察到的结果形成了一个训练数据集 DN = {(x ∼ n, z ∼ n)n ∈ [N]}，这是决策者的隐私。这里，N是历史观测的数量和[N] = {1，2，…，N}是一组正指数高达N.决策者利用此数据集来推断真权重w 。 这导致决策者以形成用于瓦特的估计，表示为瓦特，从该预测ž ：= F（X ; W ），用于任何新观察到的特征量x的形成。预测ž被用来解决确定性优化问题，分钟ÿ ∈ ýC（Y; Z ）。

这被称为预测然后优化框架。它包括两个阶段：第一阶段（预测）估计W上的权重从通过一些学习训练数据集DN

方案L：DN 7 → R Q，W = L（DN）。(4)

使得结果ž可以通过F为预测（X; W ）的任何一组特征的x。

阶段2（优化）测试仅包含新特性X数据集DM ，被呈现给决策者，谁使用z = F（X ; W ）代替z与对于问题（3）：

分钟ÿ ∈ ýC（Y; Z ）：=分钟Ý ∈ ýC（Y; F（X ; W ）），（5）

获得最优解y * （Z ）∈ ARG分钟ý ∈ ýC（Y; Z ）。

在我们继续之前，我们总结了表 1 中的符号。

分离预测和优化

在文献中，这是经常可以看到模型，其中决策者传导预测和优化分开，即决策者估计权重w通过使用accuracybased度量和因子不考虑成本函数C（· ; · )。让函数：Z × Z 7 → R 是衡量两个结果之间接近程度的指标。例如，可以是任何标准，（Z ; Z 〜）= KZ - Ž 〜KQ中，q ≥ 1。因此，一个预测模型（与权重w相关联）的预测如何准确地描述了结果Z，我们称之为保真度（也称为模型拟合），可以通过与此接近度度量 L(w) = Ex,z[(f(x; w), z)] 相关的损失函数来衡量。这是使用数据集 DN 在样本中估计的，通过

公式

这样，一种可能的方式，从而获得估算权重w是通过最小化损失函数

L(w)，即

公式

例如，均方误差（MSE）（Z ; Z 〜）= KZ - ž 〜K 2个2对应于普通最小二乘（OLS）与表示为瓦特估计权重OLS。 损失函数也可能包含一个正则化项，如LASSO，L(w) = 1 NP n ∈ [N] f(x ∼ n; w); z ∼ n + θ kwk1 或岭回归，L(w) = 1 NP n ∈ [N] ` f(x ∼ n; w); z ～n + θ kwk 2 2 。

这种损失的功能集中在保真度，但他们并不能保证以后的优化性能良好。例如，Liyanage和Shanthikumar（2005）研究了报童问题，并表明，从不同的估计和优化导致次优的解决方案中获得的最佳订货量的无偏估计。Elmachtoub和Grigas（2020）示出了一个非偏置估计器，即，OLS估计量，会导致更差的性能在随后的优化阶段而偏置估计器可作为oracle执行几乎为好。

我们努力在图 1 中解释为什么会这样。在这里​​，我们考虑将在第 3 节中介绍的决策驱动正则化模型。我们在两个轴上绘制，由 MSE（带点的蓝线）测量的保真度，以及在正则化程度λ的范围内，由 me 成本（带十字的橙色线）衡量的决策性能，每个都对应于从模型中学到的一些权重 w。这是根据我们稍后在第 4 节中的模拟研究改编的。 如果通过最小化损失函数来寻求模型的最佳保真度，他们将得出与某个λ ≈ 1.0相对应的权重 w 的选择，这对于决策问题——决策问题的最佳权重选择对应于λ ≈ 1.7。原因在于后续的优化过程，该过程接受预测（作为权重的函数）并输出决策和最佳值。这个过程和最优值在输入中不是线性的，即预测。因此，在这种非线性变换下，不能保证损失曲线的最小值仍然是成本曲线的最小值。

正式地说，如果学习方案是一致的，则不会被错误指定并收敛于真理。然后在极限情况下，在规律性条件下（例如，有界和统一连续性），单独的预测然后优化模型中的决策仍将收敛到最佳解决方案。

尽管如此，这不足以保证有限样本的良好性能，这也是我们完全执行正则化的原因——正则化模型在实现更高的预测精度方面优于非正则化模型，尽管这两种模型在极限。只要我们留在有限数据集的空间，图1中的成本和保真度曲线之间的差总是存在（保存针对具体情况如在Ho-阮和K描述ı升ı Ñ ¸ C-Karzan 2020）。换句话说，在有限的数据下，仅仅追求保真是不够的。

因此，与损失函数相反，重点将是找到一组最小化成本函数的权重。一种可能的方法是利用有关决策过程的信息来改变结果的估计。在预测然后优化模型的上下文中，我们将这种联合预测然后优化称为。具体来说，目标是在预测然后优化框架的第一个预测阶段设计一些新方案 L * ，

瓦特= L * （DN），

其中，相对于传统的方案L，通过最小化损失函数的保真度就不会成为选择W上的唯一标准。 相反，新的方案L *渴望选择瓦特下一些新的标准，以尽量减少c中的费用（Y * （Z ）; Z ），作为相对于真预言的结果Ž测量，其中y * （Z ）从选择权重w产生的决策。 在这方面，它与预期的遗憾，例HC（Y * （Z ）; Z ）-分钟Ý ∈ ýC（Y; Z ）1。

联合预测然后优化

概括地说，我们长期研究的预测，当时的优化文献中的流，目的是寻求权重w是最小化成本函数，联合预测，当时的优化。在这里，我们专门讨论与我们稍后在第 3 节中提出的模型密切相关的模型。

**智能“预测然后优化” 。**当目标在决策变量 y 和结果 z 中是双线性的，即 c(y; z) = y >z，Elmachtoub 和 Grigas (2020) 提出了一个模型来寻找预测问题的权重，从而最小化遗憾：w SPO = L SPO（DN）：= ARG分钟瓦特1 NXñ ∈ [N] HC ý * （Z n）的; z ∼ n − min yn ∈ Y c(yn; z ∼ n) i 。(SPO)

该制剂SPO可以潜在地非凸。相反，下面的代孕，这是凸和Fisher一致的SPO，建议。这个被命名为“ SPO + ” 。

arg min w 2 1 NX n ∈ [N] c y ∗ (z ∼ n); f(x ∼ n; w) + 1 NX n ∈ [N] max yn ∈ Y c(yn; z ∼ n) − 2c yn; f(x ~ n; w) 。(SPO+)

在他们的论文中，作者说明，通过他们的模型放弃忠诚做出的预测（具体而言，当损失函数L（·换取高性能的决策，导致降低成本）已从该模型的语句现在消失了）。稍后我们将在第4节显示，一个不需要支付模型精度如此沉重的代价，并且仍然保留成本minimizatio不错的表现。

同时过程。Tulabandhula 和 Rudin (2013) 提出以优化问题为目标对损失函数进行正则化，并将其称为同步过程 (SP)：

arg min w L(w) + λ min y ∈ Y c y; F（X ; W），（SP）

其中 L(w) 是训练数据集的预测损失，λ ∈ R 是正则化参数。在这里，作者评估了测试数据中的数据点 x 训练点的成本函数。这可能会带来一些担忧。首先，使用测试数据来评估训练的重点。 这可能会带来一些担忧。 首先，使用测试数据评估成本函数与使用训练数据评估损失函数不一致。 因此，该模型可能无法推广，特别是当测试数据偏离训练数据时。 其次，在实践中，当新数据以新测试数据的形式定期提供给模型时，模型每次都会产生一组不同的权重 w，因此本质上是不同的模型。
联合估计和鲁棒性优化。 朱等人。 (2020) 探索联合估计和鲁棒性优化模型，旨在最大化预测损失 L(w) 错误估计的鲁棒性，同时满足平均（估计）成本目标 τ：

公式杰罗！

其中 w ˜是损失函数的最小值，w ˜ ∈ arg min w L(w)。在这里，我们改编了朱等人的原始模型。(2020) 求解全局最优解 yn ≡ y，适用于决策 yn 适用于每个数据点的情况。这样做是为了确保与所考虑的其他模型的一致性。

**SP 和 JERO 的模型之间存在隐含的联系。在 Tulabandhula 和 Rudin (2013) 中，作者提出了一个稳健的优化模型，随后证明 SP 等效于该模型。除了两个方面，JERO 几乎等同于这个强大的优化模型。首先，JERO 在评估成本函数时避免使用测试数据，而是使用训练数据。如前所述，这种差异在实践和概念上都很重要，但在数学上是微不足道的，并且这种修改为使用训练数据的 SP 模型与其稳健对应模型之间的等效结果仍然像以前一样。其次，JERO 涉及稳健性水平ρ的校准，无需交叉验证。这可以被认为是显着的差异。对此，我们提出两点意见。之一，杰罗最终仍然在于预测-则-优化模型，其中所选择的权重w的境界是最坏的情况下权重w的不确定性集合U下（ρ ）为最佳ρ 。二、往后看，SP和JERO都放在同一个模型下，为了方便参考，只参考JERO。

**成本模糊的问题。**在利用在预测阶段优化问题的结构，这三款机型都使用了成本函数在设计自己的方案采摘w ^ 。 尽管如此，精明的读者会在这一点上，在上述三种情况下，成本函数的不同的定义来实现-在SPO，作者已经定义使用所观察到的结果在数据z在其遗憾成本〜; 在SP，F（X ; W）被使用，其表示作为估计所述测试数据的费用; 而在 JERO 中，成本由对训练数据的预测形成，而不是 f(x ~ ; w)。代替下真结果z上被限定的真实成本函数的;（Z y）的，换句话说，每一个模型都使用了不同的替代物的费用函数c的定义中，C（Y; Z ）。 实际上，在学习点永远不会知道真实的预测以及真实的成本函数，即成本函数中存在歧义。

在这里，出于与上述相同的原因，我们首先排除在成本函数的估计中使用测试数据作为 SP 的情况。如果我们限制自己在学习阶段只使用训练数据集 DN，那么定义成本函数有两种选择。第一种选择是跟随 SPO+ 并利用观察到的结果 z ～。我们称以这种方式定义的成本函数为经验成本— c(y; z ˜ )。另一种选择是利用所估计的或预测的结果ž对于给定的权重w，如在杰罗，做完这导致估计成本- Ç ÿ; f(x ~ , w) 。单独使用它们中的任何一个都会丢失另一个捕获的有用信息，并导致不同类型的偏见。在使用观察到的结果 z ~ 时，观察中的噪声被传递给成本函数，增加了过度拟合的可能性。在使用估计的结果Ž ，在权重的估计误差W被转移到成本函数。如果学习模型存在缺陷，例如规格错误，这将非常重要。这两种成本函数之间的争论将主导我们模型的最终设计，我们即将介绍。

3. 决策驱动的正则化

4 数字插图

5. 结论

我们为联合预测然后优化问题提出了一个通用框架，我们称之为决策驱动的正则化。 我们表明，无论起点是正则化、鲁棒性还是后悔的观点，它都可以直接或近似地恢复。 通过概括文献中的两个模型（Zhu et al. 2020 中的 JERO 和 Elmachtoub 和 Grigas 2020 中的 SPO+），我们的框架为我们提供了分析这些模型性能的工具。 我们发现 SPO+ 在低错误规格下可能表现不佳，这可能会给最近将 SPO+ 扩展到高度通用的模型（例如神经网络）或应用于深度学习框架的尝试蒙上不祥之兆，这些模型预计会运行低水平的错误 -规格。
我们建议将这些方法转换为类似 SPO+ 的混合模型。
在我们的框架中，我们引入了决策驱动正则化器的概念，并允许根据成本函数中的歧义对其进行定义。 这种成本函数歧义的概念与机器学习其他领域（特别是强化学习）中类似的现有概念有关。 此外，可用于塑造学习过程的决策问题的存在提供了检查结构下学习的新技术，它打开了可能将结构编码为决策问题的大门。 这些联系为未来的研究提供了诱人的机会，我们希望以此作为本文的结尾。