Meta-Q-Learning
如有错误,欢迎指正
本文翻译为机翻,仅作初步了解学习使用,需要用到的时候再回来整理。
原文链接: https://arxiv.org/pdf/1910.00125v1.pdf.
如有侵权,请私信本人。
参考链接:https://zhuanlan.zhihu.com/p/109064006.
摘要
介绍了元强化学习(Meta-Q-Learning,MQL)的一种新的off-policy算法Meta-RL。MQL建立在三个简单的思想之上。首先,我们证明了Q学习与最先进的meta-RL算法相比是有竞争力的,如果给定一个上下文变量来表示过去的轨迹。第二,使用多任务目标使训练任务的平均报酬最大化是元训练RL策略的有效方法。第三,元训练回放缓冲区中的过去数据可以被重用,以便使用off-policy更新来调整新任务的策略。MQL利用倾向估计的思想来这样做,从而放大了可用于适应的数据量。在标准连续控制基准测试上的实验表明,MQL与最先进的meta-RL算法相比有优势。
Introduction
强化学习(RL)算法在模拟数据上表现出良好的性能。然而,要将这种性能转化为真实的机器人,有两个主要的挑战:(i)机器人是复杂和脆弱的,无法进行广泛的数据收集;(ii)一个真实的机器人可能面临一个不同于它所训练的模拟环境的环境。这推动了元强化学习(meta-reinforcement Learning,meta-RL)的研究,meta-RL开发了在大量不同环境(如模拟环境)上进行“元训练”的算法,旨在适应数据较少的新环境。
今天meta-RL的工作情况如何?图1显示了两个典型的meta-RL算法在四个标准连续控制基准上的性能。我们将它们与以下简单基线进行了比较:一个非策略RL算法(由Fujimoto等人提出的TD3)。(2018b)),并对其进行了训练,以使所有训练任务的平均回报最大化,并修改为使用表示轨迹的“上下文变量”。图中的所有算法都使用相同的评估协议。令人惊讶的是,这种基于非元学习的简单方法与最先进的meta-RL算法相比具有竞争力。这是我们论文的第一个贡献:我们证明,没有必要对策略进行元训练,以便在现有基准上做得更好。
我们的第二个贡献是一个名为meta-Q-Learning(MQL)的非策略meta-RL算法,它建立在上述结果的基础上。MQL使用了一个简单的元训练过程:它使用off-policy更新来最大化所有元训练任务的平均回报。
式中,l’k(θ)是对任务Dk(θ)获得的序列τ进行客观评估,例如,单步时间差(TD)误差将设置为l`k(θ)=TD2(θ;τ)。这个目标,我们称之为多任务目标,是最简单的元训练形式。
为了使策略适应新任务,MQL示例从元训练重播缓冲区获得序列,该缓冲区与新任务中的相似。这会放大可用于适应的数据量,但由于潜在偏差较大,很难做到。我们使用倾向性估计文献中的技术来执行此适应,MQL的off-policy更新对执行此操作至关重要。MQL的自适应阶段解决
其中,Dmeta是元训练回放缓冲区,倾向性得分β(τ;Dnew,Dmeta)是序列τ属于Dnew或Dmeta的几率,ESS是Dnew和Dmeta之间的有效样本大小,它是新任务与元训练任务类似的度量。第一个部分计算新任务的策略更新,第二个部分对旧数据执行β(·)加权的策略更新,而第三个部分是自动调整的近端部分,防止在适应期间策略的退化。我们在第4.2节中进行了广泛的实验,包括使用标准metarl基准进行烧蚀研究,这些基准证明,即使MQL策略比现有算法的时间步长更少,也能获得更高的新任务平均回报。
background
这一节介绍了表示法并形式化了meta-RL问题。在第2.2节中,我们讨论了估计两个概率分布之间重要性比的技术。考虑马尔可夫决策过程表示为
其中xt∈X⊂rd是状态,ut∈U⊂rp是动作。用k∈{1,,,n}参数化fk,其中每个k对应一个不同的任务。分布pk0表示初始状态分布,ξt表示动力学中的噪声。在给定确定性策略uθ(xt)的情况下,无限时间范围内γ-折扣未来报酬r k t:=r k(xt,uθ(xt))的作用下值函数为
请注意,我们假设不同的任务具有相同的状态和动作空间,并且可能只在它们的动态fk和奖励函数rk上有所不同。给定一个任务k∈{1,,,n},标准强化学习(RL)形式化求解
让我们表示与任务k和策略uθ(x)相关的所有状态、动作和奖励的数据集
我们通常将Dk称为“任务”。用于求解上上式的确定性策略梯度(DPG)算法(Silver等人,2014年)通过最小化Bellman误差和通过解决耦合优化问题使该近似最大化的最