论文阅读--Offline RL Without Off-Policy Evaluation

论文概述

本文主要介绍了一种离线强化学习算法——一步算法(one-step algorithm)，该算法只使用行为策略(beta)的一个在线Q值估计，进行一步的约束/正则化策略改进，从而实现强化学习。该算法在D4RL基准测试中的表现超过了迭代算法的表现，并且相对于迭代算法而言更加简单、鲁棒性更高。本文探讨了迭代算法的失败模式和一步算法的优势。

摘要

大多数离线强化学习( RL )的先前方法都采用了涉及离策略评估的迭代演员-评论家方法。在本文中，我们证明了简单地使用行为策略的在策略Q估计进行约束/正则化策略改进的一步就表现出令人惊讶的好处。这个一步算法在D4RL基准程序的很大一部分上击败了先前报道的迭代算法的结果。与先前提出的迭代算法相比，一步基线实现了这种强大的性能，同时显著地更简单，对超参数更鲁棒。我们认为，迭代方法的相对较差的性能是由于在进行政策外评估时固有的高方差，并被政策对这些估计的反复优化所放大。此外，我们假设一步算法的强大性能是由于环境中的有利结构和行为策略的组合。

主要贡献

1. 一步算法可能优于迭代方法的描述（证明在一组广泛的离线强化学习问题上，一步策略改进的简单基线优于更复杂的迭代算法）。
2. 对迭代离线 RL 算法中的非策略评估故障模式的检查（检查迭代离线强化学习算法中非策略评估的失败模式)。

对一步算法可能优于迭代方法的描述(描述一步算法何时可能优于迭代方法)。

迭代算法举步维艰，往往是由于较差的离策略评估导致Q值不准确

作者将其归因于两个原因：

( 1 )行为策略和待评估策略之间的分布偏移；

( 2 )迭代错误利用，其中策略优化引入偏差，而动态规划将这种偏差传播到整个状态空间。

何时迭代算法可以比简单的一步基线表现更好的指导

1. 当数据集较大，行为策略对状态-动作空间的覆盖较好时，离策略评估可以成功，迭代算法可以有效。
2. 如果行为策略已经相当不错，但结果并不具有全覆盖性，那么一步法算法往往更可取。

迭代算法与一步算法

 1.迭代算法

• 迭代器方法通常涉及多个迭代过程，每次迭代都需要进行离策略评估。
• 这些方法依赖于在每次迭代中优化策略与估计的Q函数，可能导致在面对分布偏移时产生误差。
• 迭代器方法可能对超参数敏感，因为它们需要在每次迭代中调整正则化参数以平衡策略改进与行为策略保留之间的关系。

    2.一步算法

• 一步方法只进行一次策略改进，这使得它们相对简单且鲁棒。
• 一步方法完全避免了离策略评估，因此不受分布偏移问题的影响。
• 这些方法通常对超参数不敏感，因为它们只需要在一个迭代过程中进行策略改进。

算法定义

1. 算法模板：提供了一个统一的无模型离线强化学习算法模板，即离线近似修正策略迭代（OAMPI）。该模板通过选择不同的策略评估和策略改进操作符来定义一步、多步和迭代算法。
2. 策略评估操作符：通过选择不同的策略评估方法来实例化算法模板。一些常用的策略评估方法包括逼近方法、蒙特卡洛树搜索等。
3. 策略改进操作符：为了实例化模板，还需要选择特定的策略改进操作符。这部分讨论了一些常见的改进操作符，如行为克隆、约束策略更新、正则化策略更新和变体的模仿学习。

What goes wrong for iterative algorithms?

1. 学习曲线与超参数敏感性：迭代算法需要更强的正则化来避免不稳定。在一步算法中，正则化超参数对算法性能的影响较小。
2. 分布漂移：任何依赖于离策略评估的算法都会受到分布漂移的影响。分布漂移会导致评估步骤中有效样本大小减小，从而增加估计值的方差。
3. 迭代误差利用：迭代算法会在多个步骤中优化策略，这会导致一种特有的误差，即迭代误差利用。这种误差会在每个步骤中增加，导致过高的估计值，从而影响算法性能。

实验设置

实验设置主要包括以下几个方面：

• 数据集：作者使用D4RL基准测试集进行实验，包括多个离线强化学习任务。
• 算法：实验中比较了一步法（One-step）、多步法（Multi-step）和迭代法（Iterative）算法。作者选择了三种不同的策略改进操作符：Easy BCQ、逆KL正则化和指数加权模仿。
• 训练过程：在每个任务上，作者训练了10个种子，并使用100个评估回合计算每个种子的平均值和标准误差。
• 评估过程：在每个策略上运行100个轨迹来计算平均值。
• 实验结果分析：作者分析了一步法在D4RL基准测试集上的表现，并与迭代法进行了对比。此外，作者还探讨了迭代法可能存在的问题，如分布漂移和迭代误差利用。最后，作者讨论了在何种情况下多步法可能优于一步法。

总之，文章中的实验设置旨在比较一步法、多步法和迭代法在离线强化学习问题上的性能，并分析迭代法可能存在的问题。实验结果表明，一步法在大部分D4RL基准测试集上的表现优于迭代法，同时具有更简单和更稳定的超参数。这表明一步法是一种有效且可靠的离线强化学习方法。

When are multiple steps useful?

从多个步骤的策略改进中获益的情况包括：

1. 数据集较大且行为策略覆盖了状态-动作空间的良好部分。在这种情况下，离策略评估可以成功地进行，迭代策略优化可以产生更好的结果。
2. 环境具有有利的结构以及行为策略具有良好的覆盖范围。这有助于减少误差并在多步策略改进中获得更好的性能。
3. 当噪声和/或高维环境导致一步策略改进的误差较大时，多步策略改进可能具有优势。在这些情况下，多步策略可以更有效地传播信号，从而在减少误差的同时获得更好的性能。

总之，多步策略改进在某些情况下可能优于单步策略改进，例如数据集较大、行为策略覆盖范围较好以及环境具有有利结构的情况。然而，一步策略改进通常更简单且对超参数更具鲁棒性，因此仍然是一个强大的基线方法。