[AAAI2020] From Few to More: Large-scale Dynamic Multiagent Curriculum Learning 笔记

前言

这篇文章介绍了三种迁移方法，来通过课程学习加速。然后提出了一个新的架构DyAN，使得模型与agent数目无关。
一个有效的解决large-scale多智能体学习问题的方法是利用课程学习理论。将CL应用在RL上一个重要的方向是如何解决持续增长的复杂任务，这也是CL应用在RL上的目的。另一个CL的重要方向是自动设计课程。目前多智能体上应用CL的算法都很简单，比如Agarwal他们就是单纯的增加agent的数量，将之前的策略作为initialization。这篇文章也就是提出简单的迁移机制加速CL，DyAN的结构和Agarwal的有点相似，个人感觉创新性不大。

背景

POSG

将问题建模为局部可观察随机博弈（POSG），通过元组 $⟨\mathcal{N},\mathcal{S},{\mathcal{A}}^1,\cdots ,{\mathcal{A}}^n,T,{\mathcal{R}}^1,\cdots ,{\mathcal{R}}^n,{\mathcal{O}}^1,\cdots ,{\mathcal{O}}^n⟩$ 定义。
agent $i$ 在step $t$ 的观察可以构建为 o t i = { o t i , e n v , m t i , o t i , 1 , ⋯   , o t i , i − 1 , o t i , i + 1 , ⋯   , o t i , n } o_t^i=\{o_t^{i,en