ROIDICE：用于高效决策的离线投资回报率最大化

“ROIDICE: Offline Return on Investment Maximization for Efficient Decision Making”

论文地址：https://openreview.net/forum?id=6Kg26g1quR

摘要

本文介绍了一种创新的策略优化系统，目标是在包含成本考量的马尔科夫决策过程（MDP）中，利用既定的数据集来提升策略的投资回报率（ROI）。这里所说的ROI是指策略产生的收益与其累积成本的比例，这一比例直接反映了策略的效能。由于最大化ROI涉及到处理收益与成本这两个长期数值的比例问题，因此这是一个具有挑战性的任务。为了应对这一挑战，ROI的最大化问题被转化为线性分数规划的形式进行求解。通过结合静态分布修正（DICE）框架，我们提出了一种名为ROIDICE的离线算法，用于实现ROI的最大化。相比现有方法训练出的策略，ROIDICE能够在收益和成本之间找到更加理想的平衡点，从而展现出更高的效率。

简介

投资回报率（ROI）作为关键的财务指标，通过计算收益与投入成本的比例来衡量投资的盈利能力。最大化ROI对于做出明智的投资决策至关重要，因为它能够在减少开支的同时增加收入。尽管在机器学习领域内，关于ROI最大化的探讨尚不充分，且大多集中在多臂赌博机的问题上，但在涉及序列决策制定的过程中，例如马尔可夫决策过程，如何优化一系列决策以达到回报与成本比率的最大化则显得尤为复杂。这一挑战主要由两方面构成：一是需要处理回报与成本之间的比例关系；二是考虑到这两者均为长期量的特点。

为了解决这些问题，研究者采用了一种基于V-LP对偶形式的方法，将策略优化问题在强化学习中转换成线性规划问题，重点在于确定策略的平稳分布。这种平稳分布有助于更准确地估算回报和累积成本，进而提出了一种名为ROI-LP的方法来实现ROI的最大化，特别适用于离线环境下的优化。在这种环境下，算法ROIDICE利用一个固定的数据集进行策略优化，并引入了凸正则化技术来解决因数据分布差异带来的问题。ROIDICE通过改进平稳分布估计来实现其目标，即在离线状态下最大化ROI。实验结果表明，相较于其他现有的离线策略优化框架，ROIDICE能够引导出更为有效的行为模式。

01背景

具有成本函数的马尔可夫决策过程

本文探讨了一种无限期折扣的马尔可夫决策过程（MDP），该过程包含状态集合S、动作集合A、转移概率T、奖励函数r、初始状态分布p0以及折扣因子γ，同时还定义了一个正值成本函数c(s, a)。在这个模型中，智能体从初始状态出发，通过在状态s执行动作a来获取相应的奖励和成本。策略π(a|s)定义了在状态s下选择不同动作的概率分布。策略的表现由期望回报R与期望累积成本Cπ共同衡量，其中的目标是优化策略，以实现期望回报的最大化，同时确保期望累积成本保持在一个给定阈值Cthreshold之下。

RL的平稳分布和线性规划（LP）公式

借助平稳分布 dπ，我们可以把 R 和 Cπ 表达为平稳分布与奖励及成本的线性组合形式，这样就可以将强化学习（RL）问题转变成线性规划（LP）的形式 。在线性规划中，其约束条件——即贝尔曼流约束——保证了对于任意状态 s 的状态-动作对，流入的概率与流出的概率相等。