【高级强化学习综述】层次强化学习、记忆与预测模型

层次强化学习

层次强化学习从多层策略中学习，每一层都负责在不同的时间和行为抽象层面进行控制。最低级别的策略负责输出行动，使更高级别的策略可以在更抽象的目标和更长的时间尺度上自由运作。

为什么这么吸引人？首先，在认知方面，长期以来，研究人员一直认为人类和动物的行为是由等级结构支撑的。这在日常生活中是直观的：当我决定做饭时，我能够把这个任务简化为更简单子任务：洗菜，切菜，炒菜等，而不忽视我做饭的总体目标;我甚至可以换掉子任务，例如把切菜换成煮饭，完成同样的目标。这表明现实世界任务中固有的层次结构和组合性，其中简单的原子动作可以串联，重复和组合以完成复杂的工作。

层次强化学习可以有效地从经验中学习：长期信用分配和稀疏奖励信号。在层次强化学习中，由于低级策略基于高级策略分配的任务从内在奖励中学习，因此尽管奖励稀少，仍然可以学习原子任务。

实现层次强化学习有许多不同的方法。 Google Brain最近的一篇论文采用了一种特别简洁的方法，并为数据有效训练的引入了一些不错的非策略性修正。他们的模型叫做HIRO。

原文链接