POET：持续生成越来越复杂和多样化的学习环境和解决方案

Poet 算法： 探索复杂环境下的强化学习新方法

本文介绍了 Uber AI Labs 开发的 Poet 算法，该算法旨在解决强化学习领域中一个具有挑战性的问题：让双足步行机器人尽可能远地向右行走，同时克服各种障碍。

问题描述:

• 机器人拥有四個关节，可以通过控制关节的扭矩来控制行走。
• 机器人配备了传感器，包括激光雷达（提供环境信息）、足部压力传感器（判断脚是否接触地面）和陀螺仪（判断头部相对于地面的角度）。
• 目标是让机器人尽可能快地向右行走，并保持稳定。
• 奖励机制：
• 机器人摔倒（头部接触地面）则扣除100分。
• 向右移动的距离乘以130分。
• 身体倾斜角度越大，扣除的得分越多。
• 施加的扭矩越大，扣除的得分越多。
• 若机器人抵达终点，且得分超过230分，则视为解决该环境。

环境特点:

• 环境包含各种障碍，例如洞穴、树桩等，高度和形状各不相同。
• 地形崎岖不平，难度可调。

Poet 算法的特点:

• 算法具有通用性，不仅仅适用于双足步行机器人问题。
• 能够生成越来越复杂和多样化的学习环境，并找到相应的解决方案。

总结:

Poet 算法为解决复杂环境下的强化学习问题提供了新的思路。通过生成各种复杂的环境和解决方案，该算法可以帮助研究人员更好地理解强化学习算法的性能和局限性，并开发更加强大的学习算法。

来自 Go-Explore 的开发者，POET 是新奇搜索、进化方法、开放式学习和课程学习的融合。https://arxiv.org/abs/1901.01753
摘要：虽然机器学习的历史迄今为止主要包含一系列由研究人员提出的问题和学习其解决方案的算法，但一个重要的问题是，问题本身是否可以与算法同时生成，而算法在解决问题的同时也在生成问题。这样的过程实际上会构建自己的多样化且不断扩展的课程，而各个阶段问题的解决方案将成为解决后期更具挑战性问题的垫脚石。本文介绍的配对开放式先驱 (POET) 算法正是这样做的：它将环境挑战的生成与解决这些挑战的智能体的优化相结合。它同时探索了可能的解决问题的空间中的许多不同路径，并且至关重要的是，它允许这些垫脚石解决方案在问题之间转移，如果更好，则会催化创新。术语“开放式”意味着像 POET 这样的算法具有无限可能继续创造新颖且越来越复杂的的能力的诱人潜力。我们的结果表明，POET 产生了各种各样的复杂行为，这些行为解决了一系列环境挑战，其中许多挑战无法通过直接优化单独解决，甚至无法通过直接路径课程构建控制算法解决，从而突出了开放性在解决雄心勃勃的挑战中的关键作用。将解决方案从一个环境转移到另一个环境的能力被证明对于释放整个系统的全部潜力至关重要，这证明了偶然垫脚石的不可预测性。我们希望 POET 能激发对多个领域开放式发现的新推动，在这些领域，像 POET 这样的算法可以通过其有趣的可能表现形式和解决方案来开辟一条道路。