多智能体强化学习算法整理

已于 2022-06-30 14:08:54 修改
阅读量3.7k 收藏 47
点赞数 3
分类专栏： 强化学习 论文阅读 文章标签： 人工智能 深度学习 机器学习
于 2022-06-29 15:12:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strawberry47/article/details/125516802
版权

目录

1. Policy-based：

1.1MADDPG(NIPS2017):

参考博客：多智能体强化学习算法【二】【MADDPG、QMIX、MAPPO】
超级经典，是基于DDPG算法改进的

DDPG：相当于DQN+Actor-Critic，target网络，eval网络，同时使用了经验回放机制

通过“集中式训练分布式执行”的思路，计算出每个智能体的最优策略。

  1. 每个agent都有一个中心化的critic，能够获取全局信息，给出值函数（Q value）；每个智能体的actor根据局部观测信息做决策。该方法在完全合作、完全竞争和混合关系的问题中都能取得较好效果。
  2. 改进了experience replay， ( x , x ′ , a q , . . . , a n , r 1 , . . . , r n ) (x,x',a_q,...,a_n,r_1,...,r_n) (x,x′,aq​,...,an​,r1​,...,rn​)
    在这里插入图片描述
    代码：多智能体连续行为空间问题求解——MADDPG
  • MADDPG 中的 Critic 是一个中心化网络，即传入的不只是当前 Agent 的（s，a）信息，还加入了其他 Agent 的（s，a）信息

1.2 COMA(AAAI2018):

Counterfactual Multi-Agent Policy Gradients：解决了合作式的MARL中，如何为各个agent分配奖励的问题。设置一个反事实基线（counterfactual baseline），将action与默认action的reward比较，若更高则说明做出了贡献。

  1. 使用一个集中式critic网络，在训练的过程中可以获取所有智能体的信息；
  2. 采用反事实基线（counterfactual baseline）来解决信用分配的问题（利用反事实的思维来推断每个智能体对整体任务的完成有多大的贡献）；
  3. Critic网络要能够对反事实基线进行高效的计算。

对比：

a. COMA针对离散动作，学习的是 随机策略。而MADDPG针对连续动作，学习的是确定性策略。这在它们策略梯度函数的表达式上能够体现出区别。
b. COMA主要针对多智能体 协作任务，因此只有一个critic评价团队整体的回报。MADDPG既可以做协作任务，也可以做竞争任务，每个智能体都对应一个奖励函数，因此每个智能体对应一个critic。
c. 在原文中，COMA使用了 历史观测、动作序列作为网络的输入，而MADDPG没有使用历史序列。因此COMA的网络结构中包含了GRU层，而MADDPG的网络均为2-3个隐层的MLP。
d. COMA中所有智能体的actor网络 共享参数，输入端加上智能体ID以示区别。而MADDPG则没有共享参数；
d. COMA使用 反事实基线作为actor网络的优化目标，而MADDPG直接使用Q函数作为每个智能体actor网路的优化目标。

1.3MAPPO

多智能体强化学习(二) MAPPO算法详解
主要是提升效率，偏工业

2.Value-based

前面提到的 policy-based 方法中，中心化的值函数是直接使用全局信息进行建模，没有考虑个体的特点。在多智能体系统是由大规模的多个个体构成时，这样的值函数是难以学习或者是训练到收敛的，很难推导出理想的策略。
并且仅依靠局部观测值，无法判断当前奖励是由于自身的行为还是环境中其他队友的行为而获得的。如果给每个agent都配一个reward function，会把问题变复杂，并且通用性也不强。

2.1 VDN(AAMAS2018)

Value-Decomposition Networks For Cooperative Multi-Agent Learning：核心是将全局的 Q(s,a)值分解为各个局部 Qi(si,ai)的加权和，每个智能体拥有各自的局部值函数

2.2QMIX(ICML2018)

是对VDN算法的改善，作者改善了值函数分解的网络结构，考虑了系统全局状态 以及分布式策略的单调性约束，有效地增强了网络对整体Q函数的拟合能力。

QMIX 在 VDN 的基础上实现了两点改进：

  1. 在训练过程中加入全局信息进行辅助；
  2. 采用混合网络对单智能体的局部值函数进行合并（而不是简单的线性相加）。

模拟环境

常见多智能体强化学习仿真环境介绍

多智能体强化学习算法【二】【MADDPG、QMIX、MAPPO】
丨汀、的博客
06-07 4453
一、引言 本章介绍OpenAI 2017发表在NIPS 上的一篇文章，《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》。主要是将AC算法进行了一系列改进，使其能够适用于传统RL算法无法处理的复杂多智能体场景。 传统RL算法面临的一个主要问题是由于每个智能体都是在不断学习改进其策略，因此从每一个智能体的角度看，环境是一个动态不稳定的，这不符合传统RL收敛条件。并且在一定程度上，无法通过仅仅改变智能体自身的策略
【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
01-01 1480
【人工智能机器学习基础篇】——深入详解强化学习之常用算法Q-Learning与策略梯度，掌握智能体与环境的交互机制
多智能体强化学习 (MARL) 算法框架综述 (一)
april_cui的博客
05-24 6958
简介了当前应用较多的MARL算法
RL 算法大突破！多智能体协作性能飞升
最新发布
2501_90555291的博客
03-07 407
1.MADDPG 算法在多种合作与竞争的多智能体环境中，比传统强化学习算法表现更优，能使智能体学习到复杂的协调策略。发展迅猛，在多智能体场景中不断突破，已从游戏领域拓展至多行业，助力智能体协作决策，提升复杂任务执行效率。2.设计智能体学习其他智能体策略的方法，在无需确切知道其他智能体策略的情况下，仍能有效更新策略。3.现有算法在综合挑战下表现不佳：即使在小幅扰动下，现有算法在组合挑战任务中的表现也显著下降。3.策略集成训练可增强智能体策略的稳健性，在竞争环境中，集成策略的智能体表现更出色。
【深度强化学习】多智能体算法汇总
热门推荐
见见大魔王
04-24 1万+
本文收纳了常见的多智能体强化学习方法，并简单介绍各个算法。
多智能体深度强化学习：MAPPO&MADDPG&MASAC算法及其伪代码
lhyyds的博客
11-18 6338
多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）是一类方法，旨在解决多个智能体在动态环境中交互、学习和优化的问题。以下是三种主流算法：MAPPO、MADDPG 和 MASAC 的详细说明及伪代码。
多智能体强化学习算法综述
azeyeazeye的博客
03-01 580
https://blog.csdn.net/keypig_zz/article/details/92816033
多智能体强化学习算法MADDPG（一：由单智能体强化学习到多智能体强化学习）
qq_40089637的博客
09-05 1万+
我，菜拐拐，今天又来了！废话少说，上重点。准备好课堂笔记┗|｀O′|┛ 嗷~~ 多智能体强化学习背景知识为什么提出多智能体DDPG（MADDPG）？学习MADDPG算法的先验知识？Q-LearningDQNSPGDPGDDPG由DDPG算法到MADDPG算法？MADDPG算法的巧妙之处？ 为什么提出多智能体DDPG（MADDPG）？ 多智能体环境下传统算法的短板 传统的Q-Learning算法不适用：随着训练的进行，每个智能体的策略都在发生变化。从任何一个单独的智能体的角度来看，环境都变得不稳定，这带来.
一种新的多智能体强化学习算法及其在多机器人协作任务中的应用
12-25
在多机器人系统中,评价一个机器人行为的好坏常常依赖于其它机器人的行为,此时必须采用组合动 作以实现多机器人的协作,但采用组合动作的强化学习算法由于学习空间异常庞大而收敛得极慢.本文提出的新方 法通过预测各机器人执行动作的概率来降低学习空间的维数,并应用于多机器人协作任务之中.实验结果表明,基 于预测的加速强化学习算法可以比原始算法更快地获得多机器人的协作策略.
【博弈强化学习】-多智能体博弈强化学习研究综述 相关论文，思维导图
09-23
在当今的人工智能研究领域，博弈强化学习是一个非常前沿的研究方向，它结合了博弈论、多智能体系统以及强化学习等多领域的理论与技术。其中，多智能体博弈强化学习作为该领域的分支，专注于研究多智能体之间的交互和...
预训练大模型在多智能体强化学习中的创新应用与趋势
资源摘要信息:"本文探讨了在开放式多模态环境下多智能体强化学习的现状及其未来发展路径。文章强调通过预训练大模型提升多智能体系统的感知、理解和交互能力，并实现更高水平的认知泛化与价值对齐。重点介绍了将大...
多智能体粒子群算法
03-10
本代码在matlab里编写，将多智能体思想和粒子群算法结合起来形成基于多智能体的粒子群算法，并将其运用在IEEE40节点店里负荷分配问题上，取得不错的效果
多智能体 机器学习算法
08-21
针对多智能体系统进行机器学习的思路和方法总结，可以参考
基于深度强化学习算法的智能电力市场Agent建模与优化策略研究,基于深度强化学习算法的电力市场agent建模 ,深度强化学习算法; 电力市场 agent 建模,深度强化学习在电力市场Agent建模中的
02-06
本研究聚焦于利用深度强化学习算法对电力市场Agent进行建模，并探索其在电力市场中的优化策略。研究的核心在于构建一个能够反映电力市场实际运行机制的仿真平台，以此来训练和验证Agent模型的性能。通过这样的建模，...
多智能体强化学习 (MultiAgent Reinforcement Learning)
AI天才研究院
09-19 1833
多智能体强化学习 (Multi-Agent Reinforcement Learning) 关键词： 多智能体学习 协同作用 自主性 强化学习 博弈论
强化学习—多智能体
Tony Wey的博客
08-13 8140
多智能体强化学习是强化学习中的一个重要分支，涉及多个智能体在动态和交互的环境中学习和决策。它面临着挑战，如非稳定性、维度灾难以及智能体之间的协作与竞争。然而，随着算法的不断进步，MARL 在多个复杂应用领域中显示出巨大的潜力和前景。如果有更多的具体问题或需要深入讨论某个方面，欢迎继续提问！在一个包含多个玩家的博弈中，每个玩家都有一个策略集Σi\Sigma_iΣi​，以及对应的收益函数uiσ1σ2σnui​σ1​σ2​σn​，其中σi\sigma_iσ。
用多智能体强化学习算法MADDPG解决“老鹰捉小鸡“问题
百度大脑
08-10 4935
点击左上方蓝字关注我们【飞桨开发者说】郑博培：北京联合大学机器人学院2018级自动化专业本科生，深圳市柴火创客空间认证会员，百度大脑智能对话训练师，百度强化学习7日营学员MADDPG算法...
多智能体强化学习入门（七）——AC for CDec-POMDP 大规模规划学习算法
开贰锤
05-22 1696
Thien, Nguyen & Kumar, Akshat & Lau, Hoong. (2017). Policy Gradient With Value Function Approximation For Collective Multiagent Planning. 内容详见：https://zhuanlan.zhihu.com/p/66571753
多智能体深度强化学习 经典算法框架（入门）
我的AI笔记
08-17 3343
多智能体强化学习代码
07-30
当涉及到多智能体强化学习时，常用的算法之一是多智能体深度确定性策略梯度 (Multi-Agent Deep Deterministic Policy Gradient, MADDPG)。以下是一个使用PyTorch和OpenAI Gym实现MADDPG算法的简单示例代码： ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import numpy as np import gym # 定义MADDPG模型中的Actor网络 class Actor(nn.Module): def __init__(self, state_dim, action_dim): super(Actor, self).__init__() self.fc1 = nn.Linear(state_dim, 64) self.fc2 = nn.Linear(64, 32) self.fc3 = nn.Linear(32, action_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = torch.tanh(self.fc3(x)) return x # 定义MADDPG模型中的Critic网络 class Critic(nn.Module): def __init__(self, state_dim, action_dim): super(Critic, self).__init__() self.fc1 = nn.Linear(state_dim + action_dim, 64) self.fc2 = nn.Linear(64, 32) self.fc3 = nn.Linear(32, 1) def forward(self, state, action): x = torch.cat([state, action], dim=1) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x # 定义MADDPG算法 class MADDPG: def __init__(self, num_agents, state_dim, action_dim): self.num_agents = num_agents self.state_dim = state_dim self.action_dim = action_dim self.actors = [Actor(state_dim, action_dim) for _ in range(num_agents)] self.critics = [Critic(num_agents * state_dim, num_agents * action_dim) for _ in range(num_agents)] self.target_actors = [Actor(state_dim, action_dim) for _ in range(num_agents)] self.target_critics = [Critic(num_agents * state_dim, num_agents * action_dim) for _ in range(num_agents)] self.actor_optimizers = [optim.Adam(actor.parameters(), lr=0.001) for actor in self.actors] self.critic_optimizers = [optim.Adam(critic.parameters(), lr=0.001) for critic in self.critics] self.memory = [] def select_action(self, agent_id, state): state = torch.FloatTensor(state) actor = self.actors[agent_id] actor.eval() with torch.no_grad(): action = actor(state) actor.train() return action.numpy() def remember(self, state, action, reward, next_state): self.memory.append((state, action, reward, next_state)) def update(self, batch_size, gamma): if len(self.memory) < batch_size: return batch = np.random.choice(len(self.memory), batch_size, replace=False) states, actions, rewards, next_states = zip(*[self.memory[i] for i in batch]) states = torch.FloatTensor(states) actions = torch.FloatTensor(actions) rewards = torch.FloatTensor(rewards) next_states = torch.FloatTensor(next_states) for agent_id in range(self.num_agents): actor = self.actors[agent_id] critic = self.critics[agent_id] target_actor = self.target_actors[agent_id] target_critic = self.target_critics[agent_id] actor_optimizer = self.actor_optimizers[agent_id] critic_optimizer = self.critic_optimizers[agent_id] # 更新Critic网络 next_actions = torch.cat([actor(next_states[:, i, :]) for i in range(self.num_agents)], dim=1) target_next_actions = torch.cat([target_actor(next_states[:, i, :]) for i in range(self.num_agents)], dim=1) target_q_values = target_critic(next_states.view(batch_size, -1), target_next_actions) target_q_values = rewards[:, agent_id].view(-1, 1) + gamma * target_q_values q_values = critic(states.view(batch_size, -1), actions.view(batch_size, -1)) critic_loss = F.mse_loss(q_values, target_q_values) critic_optimizer.zero_grad() critic_loss.backward() critic_optimizer.step() # 更新Actor网络 actions_pred = torch.cat([actor(states[:, i, :]) if i == agent_id else actor(states[:, i, :]).detach() for i in range(self.num_agents)], dim=1) actor_loss = -critic(states.view(batch_size, -1), actions_pred).mean() actor_optimizer.zero_grad() actor_loss.backward() actor_optimizer.step() # 软更新目标网络 for target_param, param in zip(target_actor.parameters(), actor.parameters()): target_param.data.copy_(0.995 * target_param.data + 0.005 * param.data) for target_param, param in zip(target_critic.parameters(), critic.parameters()): target_param.data.copy_(0.995 * target_param.data + 0.005 * param.data) def save(self, path): torch.save({ 'actors': [actor.state_dict() for actor in self.actors], 'critics': [critic.state_dict() for critic in self.critics] }, path) def load(self, path): checkpoint = torch.load(path) for i, actor in enumerate(self.actors): actor.load_state_dict(checkpoint['actors'][i]) for i, critic in enumerate(self.critics): critic.load_state_dict(checkpoint['critics'][i]) # 定义训练过程 def train(env, num_agents, num_episodes, batch_size, gamma): state_dim = env.observation_space.shape[0] action_dim = env.action_space.shape[0] maddpg = MADDPG(num_agents, state_dim, action_dim) for episode in range(num_episodes): state = env.reset() done = False episode_reward = 0 while not done: actions = [maddpg.select_action(agent_id, state) for agent_id in range(num_agents)] next_state, rewards, done, _ = env.step(actions) episode_reward += sum(rewards) for agent_id in range(num_agents): maddpg.remember(state[agent_id], actions[agent_id], rewards[agent_id], next_state[agent_id]) maddpg.update(batch_size, gamma) state = next_state print("Episode: {}, Reward: {}".format(episode, episode_reward)) return maddpg # 使用CartPole环境进行训练 env = gym.make('CartPole-v0') maddpg = train(env, num_agents=2, num_episodes=1000, batch_size=64, gamma=0.99) # 保存训练好的模型 maddpg.save('maddpg_model.pth') ``` 请注意，这只是一个简单的示例代码，实际上，多智能体强化学习的实现可能更加复杂，并且需要根据具体的问题进行调整和优化。还有其他更复杂的算法和技术可用于多智能体强化学习，如Multi-Agent Proximal Policy Optimization (MADDPPO)和Multi-Agent Soft Actor-Critic (MASAC)等。希望这个示例代码能够帮助你入门多智能体强化学习的实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值