参考链接
多智能体深度强化学习综述与批判.2019
万字长文:详解多智能体强化学习的基础和应用
与单智能体强化学习的区别
多智能体强化学习的难点:
- 环境的不稳定性:决策相互影响
- 信息局限性:单个智能体难以获得全局信息
- 目标一致性:各智能体的目标可能是获得总体最优也可能是个体最优,如何定义奖励函数是个问题
- 可扩展性:大规模多智能体系统对算力产生要求
增加了新的学习目标(模型与模型之间的交互)
💡将其他智能体考虑为环境的一部分是否可行?
不可行,模型的不是稳态的,模型之间是策略是相互影响的。
【回顾】Q-Learning:价值学习算法, Q ( s , a ) Q(s,a) Q(s,a)是在某一时刻的 s 状态下(s∈S),采取 动作a (a∈A)动作能够获得收益的期望,主要思想是将State与Action构建成一张Q-table来存储Q值,然后根据Q值来选取能够获得最大的收益的动作。
问题定义
在博弈论视角下,序贯决策的三种问题:
- 马尔可夫决策过程:单智能体 多状态
- 重复博弈:多智能体 单一状态
- 随即博弈(马尔可夫博弈):多智能体 多状态
多智能体强化学习属于随机博弈
随机博弈
通过数学工具进行描述
基本方法
按照智能体之间关系分类
完全竞争关系
minimax Q-Learning 零和随机博弈
按照是否中心化分类
完全中心化方法
1. 整体智能体
用于合作任务
计算量指数级增长,计算难度太大
2. 纳什Q-Learning
完全去中心化方法
鸵鸟算法
注:PPO:大概类似actor-critic方法
中心化训练 去中心化执行
类似于:训练的时候场上有教练指导大家,告诉大家什么动作是对的什么是不对的,真正比赛的时候,教练离场
数学模型