增强型 POET：通过无限创造学习挑战及其解决方案实现开放式强化学习

“增强型诗人”：突破性开放式强化学习算法

这段文字介绍了名为“增强型诗人” (Enhanced Poet) 的强化学习算法，它是对先前“诗人” (Poet) 算法的改进版本。

关键要点：

• 算法目标： “增强型诗人” 旨在通过不断创造学习挑战及其解决方案，实现开放式强化学习。
• 算法优势： 它能够在一个运行中生成多种不同的环境，并同时训练出能够解决这些环境的智能体。
• 工作原理： 算法通过构建环境树，在每个环境中训练智能体，并通过“转移”机制将成功解决某个环境的智能体转移到其他相似环境中，从而实现不断探索和学习。
• 改进之处： “增强型诗人” 对“诗人” 算法进行了改进，主要体现在环境生成和智能体转移机制上。
• 应用场景： 该算法可以应用于各种需要智能体适应不同环境的场景，例如游戏、机器人控制等。

此外，这段文字还提到了：

• 视频资源： 作者推荐观看关于“增强型诗人” 的视频，以更好地理解该算法。
• 论文信息： 作者列出了“增强型诗人” 论文的作者和标题，方便读者进一步了解。

总而言之，“增强型诗人” 是一种突破性的开放式强化学习算法，它能够在不断探索中学习和适应新的环境，为人工智能发展提供了新的方向。

增强型 POET 在原始 POET 算法的基础上进行了一些实质性和精心制作的改进，并在开放式学习方面超越了以往任何系统。https://arxiv.org/abs/2003.08536https://youtu.be/RX0sKDRq400摘要：创建开放式算法，这些算法会生成自己永无止境的、新颖且适度具有挑战性的学习机会流，可以帮助自动化和加速机器学习的进步。最近在这方面取得的进展是配对式开放式先驱 (POET)，这是一种生成并解决自身挑战的算法，并允许解决方案在挑战之间进行目标切换，以避免局部最优。然而，原始 POET 由于算法本身的局限性以及外部问题（包括有限的问题空间和缺乏通用进度度量）而无法展示其全部创造潜力。重要的是，这两个限制不仅对 POET 构成障碍，而且对开放式追求本身也构成障碍。在这里，我们介绍并实证验证了原始算法的两个新创新，以及旨在帮助阐明其全部潜力的两个外部创新。这四个进步共同实现了迄今为止最开放的算法演示。算法创新是 (1) 一种关于新挑战在多大程度上具有意义的新颖性的领域通用度量，使系统能够潜在地无限地创建和解决有趣的挑战，以及 (2) 一种用于确定代理何时应该从一个问题切换到另一个问题的有效启发式方法（帮助开放式搜索更好地扩展）。在算法本身之外，为了能够更明确地展示开放式，我们引入了 (3) 一种新颖的、更灵活的方式来编码环境挑战，以及 (4) 一种通用度量，用于衡量系统在多大程度上继续表现出开放式创新。增强型 POET 产生了一系列多样化的复杂行为，这些行为可以解决各种环境挑战，其中许多挑战无法通过其他方式解决。