文献阅读4——2024机器学习预测结合运筹优化最新文献综述

这篇综述对时下流行的预测和优化结合的有关文章做了总结分类，这也是我目前的研究方向，将传统运筹优化和机器学习预测结合起来解决实际问题。例如，在面对车辆调度问题时，我们首先需要通过机器学习、深度学习来构建预测模型预测地区车流量，再根据预测的地区车流量对可用车辆进行调度；在面对库存管理问题时，我们首先需要预测商品需求量，然后再根据预测的需求进行订货等一系列决策。

此类问题都包含不确定性的预测以及根据预测去进行决策优化。这一类文章的标题有很多：数据驱动方法，端到端优化（输入端到输出端），先预测后优化，智能预测再优化，规范优化（大数据三大分析类型包括描述性分析、预测性分析、规范性分析，描述性分析是指从数据中提取可读信息，预测性分析是指根据数据进行预测，规范性分析就是预测的下一步，根据预测作决策了）等。

本文将该类问题统称为contextual optimization，上下文优化，上下文指的就是预测不确定参数时用到的特征信息context（协变量、自变量），例如在车辆调度中，根据天气、地点、时间多种因素预测车流量。作者将上下文优化分为了三类：决策规则优化、顺序学习和优化、融合学习优化。

一、决策规则优化DRO

决策规则优化，原文中的表述是Mapping covariate to actions in a data-driven environment，它直接构建了一个从输入到决策的映射，这个映射是直接优化决策结果的。最具代表的一篇文章在之前的学习笔记8中提到过，采用报童问题成本函数作为预测模型的损失函数，属于一阶段模型。

Ban, G.Y., Rudin, C., 2018. The big data newsvendor: Practical insights from machine learning. Operations Research 67, 90–108.

大数据报童

华仔，公众号：算法设计与优化学习笔记8——报童模型扩展（数据驱动方法SAA；大数据驱动方法ERM：机器学习和运筹学的有机结合）含gurobi求解代码

二、顺序学习和优化SLO

顾名思义，先预测后优化，分两阶段进行。预测模型的损失函数采用MAE、MSE等评价指标，根据预测的不确定参数再求解优化问题，属于两阶段模型。

三、融合学习优化ILO

预测和优化结合起来，跟DRO一样属于一阶段模型，跟DRO不同的是，DRO的损失函数是目标函数，而ILO的损失函数是决策误差。例如，就报童问题而言：

DRO对应的损失函数：

ILO对应的损失函数：

然而有一个问题是，最优解作为成本向量的函数，是一个分片常数函数（Piecewise Constant Function），它的一阶导数要么为0，要么不存在。所以更多的工作都是围绕这里展开的，一种是寻找替代的梯度信息以更新模型参数；一种是重新设计一个替代损失函数；另一种是选择基于树的预测模型。具体参考下面这篇：

方法

https://zhuanlan.zhihu.com/p/648200028

类似的，在DRO方法中，Oroojlooyjadid等人发现对报童问题成本函数进行平方可以取得更好的解，因为函数是光滑的，从而梯度在整个解空间中可用。Oroojlooyjadid A, Snyder LV, Tak´aˇc M (2020) Applying deep learning to the newsvendor problem. IISETransactions 52(4):444–463.

Donti等人也是通过实验验证了ILO在报童问题中优于DRO和SLO，以及其他两个场景。但如果数据足够多，感觉DRO应该可以追上ILO（需进一步验证）。

Donti P, Amos B, Kolter JZ (2017) Task-based end-to-end model learning in stochastic optimization. Advances in Neural Information Processing Systems, volume 30 (Curran Associates, Inc.)

总之，一篇不错的综述，让你能理清这些文章的关系和套路。