多智能体强化学习

杂记

广义而言，自动化系统可以通过两个关键的设计选择来表征:(1)他们从自己的观察中学习吗？和(2)他们是否从其他自动化系统的观察中学习？对于当今实践中使用的许多自动化系统来说，这两个问题的答案都是否定的。这些预编程的自动化系统在所有任务中重复相同的程序，经常采取不必要和浪费的行动。
通过强化学习，自动化系统可以从以前的观察中学习[6，15，26，33，48]。然而，在实践中，自治系统观察世界的速度太慢，无法获取足够的学习数据，尤其是在最佳行动发生变化的非静态环境中。多智能体强化学习通过聚集来自多个智能体的数据(即，集群)。以前，MARL驱动的自动化系统面临的挑战是决定从哪些群体成员那里学习，但最近的研究开发了在线算法来探索具有可证明的保证/或强有力的经验结果的数据聚合[8，11，32，63]。然而，即使是最近的研究，与单智能体应用程序相比，集群也需要额外的计算资源。为了共享数据，集群成员必须联网，例如，。通过集线器[4，57]或无线[22，58]。探索数据聚合还需要额外的计算资源。