论文泛读：Approximate dynamic programming for stochastic resource allocation problems-随机资源分配问题的近似动态规划

一、期刊论文概述

1.论文题目： Approximate dynamic programming for stochastic resource allocation problems-随机资源分配问题的近似动态规划

2.作者： Forootani, A (Forootani, Ali)  Iervolino, R (Iervolino, Raffaele)  Tipaldi, M (Tipaldi, Massimo)  Neilson, J (Neilson, Joshua)

3.文献来源： Automation & Control Systems

4.发表时间： 2020-07-16

二、基础知识：

动态规划方法（DP）指的是一类用来计算最优策略的方法。

近似动态规划（ADP）、马尔可夫决策过程（MDP）。

资源分配被定义为一组问题，必须在有限的时间范围内将资源分配给任务，以满足客户的请求。

三、文章内容与研究方法

1.文章内容

本文展示了如何通过MDP建模资源分配问题。

提供了具有指定时间间隔的预订请求的资源分配问题建模和相关定价算法。指定的时间间隔预约请求建模资源分配问题。从实际的角度来看，在资源分配问题中，客户必须有可能提前请求资源以满足其未来的需求。由于提前预订，我们必须考虑到资源的一部分已经被分配给客户。为了最大限度地提高预期总收入，必须提出合适的价格模式。这种价格模式可以由不同的价格组成，也就是说，相同的资源可以在给定的时间间隔内以不同的价格分配。提前预订意味着MDP框架的重大升级：可用资源的数量可能会随着时间的推移而变化，因为一些资源可能已经提前分配或释放，从而减少或增加受系统随机动态影响的资源集。

概述了具有未指定预订时间间隔的资源分配问题，客户可能会请求资源以供将来使用，而不指定其释放时间。因此，与分配时间不同，此类资源是根据系统随机动力学释放的，也就是说，释放事件与拟定价格的死亡率有关。并讨论了拟议预订的使用大状态空间资源分配问题的定价算法，并提供了模拟结果。

2.研究方法

基于马尔可夫决策过程原理，提出了一种随机资源分配模型。特别是，开发了一个通用框架，该框架考虑了即时和未来需求的资源请求。所考虑的框架可以处理两种类型的预订（即指定和未指定的时间间隔预订请求），并实施超售业务策略，以进一步增加业务收入。由此产生的动态定价问题可以看作是不确定条件下的序列决策问题，并通过基于随机动态规划（DP）的算法进行求解。

四、思考与启发

通过MDP建模解决资源分配问题