【多智能体强化学习MARL】【MARLlib】

目录

MARLlib: 一个多智能体强化学习库

1  为什么选择MARLlib？

2 主要特点

3 安装

3.1 逐步安装（推荐）

1. 安装依赖项（基础）

2. 安装环境（可选）

3. 安装补丁（基础）

3.2 PyPI 安装

4 开始使用

4.1 准备配置

4.2 注册环境

4.3 初始化算法

---

MARLlib: 一个多智能体强化学习库

❗ 新闻
2023年3月 ⚓我们很高兴地宣布，一个重大更新刚刚发布。有关详细版本信息，请参阅版本信息。
2023年5月 好消息！MARLlib现在支持五个新任务：MATE、GoBigger、Overcooked-AI、MAPDN和AirCombat。快来试试吧！
2023年6月 OpenAI: Hide and Seek和SISL环境已整合到MARLlib中。
2023年8月 🎉MARLlib已被JMLR接受发表。
2023年9月 最新的PettingZoo与Gymnasium在MARLlib中兼容。
2023年11月 我们正在编写一本关于MARL的实践书籍，并计划在2023年底前发布初稿。

多智能体强化学习库 (MARLlib) 是一个利用Ray及其工具包之一RLlib的MARL库。它提供了一个全面的平台，用于在各种任务和环境中开发、训练和测试MARL算法。

以下是MARLlib的使用示例：

from marllib import marl

# 准备环境
env = marl.make_env(environment_name="mpe", map_name="simple_spread", force_coop=True)

# 使用指定的超参数初始化算法
mappo = marl.algos.mappo(hyperparam_source='mpe')

# 根据环境 + 算法 + 用户偏好构建代理模型
model = marl.build_model(env, mappo, {"core_arch": "mlp", "encode_layer": "128-256"})

# 开始训练
mappo.fit(env, model, stop={'timesteps_total': 1000000}, share_policy='group')

1  为什么选择MARLlib？

这里我们提供了一个MARLlib与现有工作的比较表。

库	支持的环境	算法	参数共享	模型
PyMARL	1个合作环境	5	共享	GRU
PyMARL2	2个合作环境	11	共享	MLP + GRU
MAPPO Benchmark	4个合作环境	1	共享 + 分离	MLP + GRU
MAlib