1-赢家通吃：为组合优化训练性能RL种群(完）

Abstract

将强化学习（RL）应用于组合优化问题具有吸引力，因为它免除了对专家知识或预解实例的需求。然而，由于组合优化问题固有的复杂性（通常是NP难问题），期望一个智能体在推理时一次性解决这些问题却是不现实的。因此，领先的方法常常实施额外的搜索策略，从随机采样、束搜索到显式的微调。在本文中，我们主张学习一组互补的策略，并在推理时同时进行 rollout（策略展开）。为此，我们引入了Poppy，一种简单的群体训练方法。与依赖预定义或手工设计的多样性概念不同，Poppy诱导出一种非监督的专业化，唯一的目标是最大化群体的性能。我们展示了Poppy能够生成一组互补的策略，并在四个流行的NP难问题——旅行商问题、容量车辆路径问题、0-1背包问题和作业车间调度问题上，取得了最先进的RL成果。

1 Introduction

近年来，机器学习（ML）方法在多种具有挑战性的任务中超越了使用手工设计特征和策略的算法 [Mnih 等，2015，van den Oord