学习笔记--离线强化学习（2）

强化学习与离线强化学习：

1.什么是离线强化学习？

离线强化学习（Offline Reinforcement Learning，简称Offline RL）是深度强化学习的一个子领域，离线强化学习最初英文名为：Batch Reinforcement Learning , 后来Sergey Levine等人在其2020年的综述中使用了Offline Reinforcement Learning（Offline RL）, 现在普遍使用后者表示。Offline RL可以被定义为data-driven形式的强化学习问题，即智能体在缺乏仿真且与环境交互成本高昂时，利用之前收集的数据为后续在线地强化学习奠定基础。

与在线强化学习的区别：

offline RL:离线强化学习。学习过程中，它不需要与模拟环境进行交互，而是直接从已有的数据中学习一套策略来完成相关任务，而dataset是采用别的策略收集的数据，并且采集数据的策略并不是近似最优策略。（Offline RL 可以被定义为 data-driven 形式的强化学习问题，即在智能体(policy函数？)不和环境交互的情况下，来从获取的轨迹中学习经验知识，达到使目标最大化。）

通过Offline RL，我们可以自动获得以策略为代表的接近最优的行为技能，以优化用户指定的奖励函数。奖励函数定义了智能体应该做什么，而Offline RL算法决定了如何做。与传统的在线强化学习相比，Offline RL的主要优势在于它不需要实时与环境进行交互，从而降低了学习成本并提高了学习效率。

然而，Offline RL也面临一些挑战，如数据分布偏移、外推误差等问题。为了克服这些挑战，研究者们正在探索各种方法，如数据筛选、模型正则化等，以提高Offline RL的性能和稳定性。

2.on-policy、off-policy和offline的区别

强化学习中的在线学习是指使用当前策略收集的轨迹进行训练，而离策略学习则是将当前策略收集到的轨迹和之前收集的轨迹一起进行训练。而离线学习则是使用之前收集的轨迹进行训练。

3.离线强化学习的问题

分布偏移和分布转移

离线强化学习面对的问题就是由于使用过去的数据集进行训练，导致行为策略和目标策略的分布不同，从而导致Q函数的估计值不准，可能会出现高估的情况。分布外动作是指在训练过程中，模型选择了一些未曾遇到的动作，这些动作的收益值无法准确估计，从而影响了模型的训练和决策。

未曾遇到的动作可能是因为在训练过程中，模型选择了一些未曾遇到的情况，这些情况下的轨迹并不在原始的数据集中，导致模型无法准确地估计收益值。另外，即使是相同的情况，但由于离线学习中使用的数据集有限，可能无法涵盖所有可能的轨迹，从而导致模型无法准确地预测相应的动作。

在线强化学习也可能会遇到分布外的动作，但相比离线学习，由于在线学习的数据集是实时更新的，所以可以更及时地进行策略改进，从而减少分布外动作的出现。此外，在线学习中也可以采用一些探索策略来增加模型对未曾遇到情况的学习能力，从而减少分布外动作的影响。

4.离线强化学习的工作原理

离线强化学习的核心是使用已有的数据来估计价值函数或策略，这些函数或策略可以帮助代理做出更好的决策。以下是离线强化学习的一般工作流程：

数据收集：首先，需要收集足够多的与代理的行动和环境互动有关的数据。这些数据可以是来自仿真环境、历史记录或其他来源的。

离线学习：在拥有数据后，代理会使用这些数据来估计策略或价值函数。这通常涉及到使用强化学习算法，如Q-learning或深度强化学习，来优化策略。

评估性能：一旦学习完成，代理可以评估其性能，看看它的决策策略在离线数据上表现如何。这有助于确定学到的策略是否足够好，或者是否需要进一步改进。

5.离线强化学习的挑战

尽管离线强化学习在许多领域有着潜力，但它也面临着一些挑战。其中一些主要挑战包括：

数据质量：离线数据的质量对学习的效果至关重要。不准确或不完整的数据可能会导致学到的策略不准确。

偏见：数据可能包含某种程度的偏见，这可能会导致学到的策略在真实环境中表现不佳。

样本效率：有时，离线数据可能不足以涵盖所有可能的情况，导致学到的策略在新情境下表现不佳。

6.离线强化学习分类

参考文献：

1.万字专栏总结 | 离线强化学习（OfflineRL）总结（原理、数据集、算法、复杂性分析、超参数调优等）...-CSDN博客https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/124892711?spm=1001.2014.3001.55062.离线强化学习Offline Reinforcement Learning-CSDN博客

3.离线强化学习系列博客专栏 - 知乎 (zhihu.com)