Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 读书笔记

最新推荐文章于 2024-04-15 19:37:09 发布
最新推荐文章于 2024-04-15 19:37:09 发布
阅读量4.3k 收藏 25
点赞数 6
分类专栏： 深度学习 强化学习 文章标签： DDPG 多智能体 强化学习 深度学习 读书笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/monotonomo/article/details/83340991
版权

1. 介绍

       本文主要是将深度强化学习应用于多智能的控制。作者提出了一种演员评论方法的改进方法，该方法考虑了其他代理人的行动策略。此外，他们引入了一种培训方案，该方案综合考虑每个代理策略，以产生更强大的多代理策略，并能够成功地学习需要复杂的多智能体协调的政策

2. 核心

这篇文章我阅读了源码，它的网络架构如图1所示

 

图1  MADDPG

        从图中可以看出主要包含了Q和P网络，这两个网络是共同同时训练的。看到这里可能会有一个疑问，就是Q网络和P网络在训练时分别扮演的角色是什么，这个问题先按下不表。首先介绍一下网络，state_i或者action_i是智能体i的状态和动作，可以看出是所有的智能体的动作执行网络都是同一个，最终的训练结果也是为了得到这一段模型，即P网络中的前一部分全连接层。P网络的后一部分是类似于critic的作用，不同的是它使用了所有的智能体信息；Q网络是整体地训练。那么按理来说P network就已完成了整个actor-critic的工作了，为什么还需要Q network呢？

       为了解决这个问题，我们首先看一下MADDPG的算法描述

       通过观察我们发现，红色

最低0.47元/天 解锁文章
monotonomo
关注
  • 6
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[基础论文阅读]Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
weixin_47920755的博客
11-16 417
[基础论文阅读]MADDPG ： Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
[论文翻译]Actor-Attention-Critic for Multi-Agent Reinforcement Learning
//Katniss的征程
09-23 3510
Hi，论文翻译仅供参考，想了解细节还是建议阅读原文 论文链接：Actor-Attention-Critic for Multi-Agent Reinforcement Learning 引入注意力机制的Actor-Critic多智能体强化学习算法 摘要   多智能体场景中的强化学习对于实际应用程序非常重要，但它带来的挑战超出了单智能体场景中的挑战。我们提出了一个在多智能体环境中分散训练策略的Act......
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 2017 NIPS MADDPG阅读笔记
CBLXXX的博客
10-15 159
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 2017 NIPS MADDPG阅读笔记
Multi-Agent多智能体的当前研究、工具、挑战的概述
最新发布
Learning
04-15 291
多智能体会是LLMs的下一个热点么?看下最新的研究进展和相关工具、挑战！
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
weixin_40679158的博客
11-19 1261
多智能体强化学习的相关问题： 分层强化学习（hierarchical reinforcement learning）- In Advances in neural information processing systems分层强化学习(Learning-representations-in-Model-Free-HRL)—知乎 多智能体自我学习（multi-agent self-play）：将RL算法扩展到多智能体环境中分层强化学习（Self-play）—知乎 D. Silver, A. H
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments基于混合合作竞争环境的多代理演员评论家算法
weixin_41697507的博客
09-28 2684
Abstract We explore deep reinforcement learning methods for multi-agent domains. We begin by analyzing the difficulty of traditional algorithms in the multi-agent case:Q-learning is challenged by an inherent non-stationarity of the environment, while polic
论文笔记：Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
a1424262219的博客
10-25 992
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 2017-10-2516:38:23 　【Project Page】https://blog.openai.com/learning-to-cooperate-compete-and-communicate/ 　 ...
论文阅读|《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》(NeurlPS,2017)(MADDPG)
太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群！
10-13 1726
论文获取可点击此处https://arxiv.org/abs/1706.02275v2 1 摘要 首先分析了传统算法在多Agent情况下的困难：Q-学习受到环境固有的非平稳性的挑战，而策略梯度受到随着Agent数量的增加而增加的方差的影响。提出了一种对Actor-Critic算法的适应，该方法考虑了其他Agent的行动策略，并且能够成功地学习需要复杂的多Agent协调策略。此外，我们引入了一种训练方案，该方案利用每个代理的策略集成，从而产生更健壮的多代理策略。我们展示了与现有方法相比，我们的...
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Envir
05-07
多智能体 Actor-Critic 强化学习算法在混合合作竞争环境下的应用 多智能体 Actor-Critic 强化学习算法是一种在混合合作竞争环境下的强化学习算法，能够在复杂环境中实现智能体之间的协作、竞争和通讯。该算法的应用...
Multi-Agent Cooperative Bidding Games for Multi-Objective
04-25
我们使用了基于ARL（Actor-Critic Reinforcement Learning）的方法来学习竞价策略，该方法可以学习到最优的竞价策略，以最大化总利润。同时，我们还使用了基于深度Q网络（Deep Q-Network）的方法来学习出价策略，该...
Python-TensorFlow实现的强化学习算法集锦
08-11
Reinforcement Learning implementations and research prototyping in TensorFlow
Python-MAgent一个多Agent的强化学习平台
08-11
MAgent是一个多Agent强化学习的研究平台。 与之前的研究平台不同，这些平台专注于使用单个代理或少数代理进行强化学习研究，而MAgent旨在支持从数百到数百万代理扩展的强化学习研究。
Distributional-Soft-Actor-Critic
04-25
"分布式软 Actor-Critic（Distributional-Soft-Actor-Critic，简称DSAC）是一种强化学习（Reinforcement Learning, RL）算法，它结合了分布式价值估计和熵正则化策略优化。在RL中，智能体通过与环境互动学习最优策略...
Multi-Agent-Deep-Deterministic-Policy-Gradients:多主体深度确定性策略梯度（MADDPG）算法的Pytorch实现
04-16
这是我在论文中提出的算法的实现：“针对混合合作竞争环境的多主体Actor评论家”。 您可以在这里找到本文： : 您将需要安装多代理粒子环境（MAPE），可以在这里找到： : 确保创建具有MAPE依赖项的虚拟环境，因为...
MADDPG：Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments-笔记
jiayoudangdang的博客
02-25 2318
0摘要 我们探索了针对multi-agent领域的深度强化学习方法。 我们首先分析在multi-agent情况下传统算法的困难：Q学习受到环境固有的非平稳性的挑战，而Policy Gradient受到随着主体数量增长而增加的方差的影响。 然后，我们提出了一种针对actor-critic方法，该方法考虑了其他agent的行动policy，并且能够成功地学习需要复杂的多agent协调的policy。此外，我们介绍了一种训练方案，该方案使用针对每个agent的policy集合，从而导致更强大的多agentpol
强化学习 之 多智能体（Multi-Agent）强化学习
热门推荐
Test_tju的博客
11-18 2万+
参考 1、多智能体强化学习入门（一）——基础知识与博弈 2、《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》论文解读
基于Pytorch的强化学习(DQN)之 Multi-agent 训练架构
ZDDWLIG的博客
04-03 8431
目录 1. 引言 2. 训练架构 2.1 Fully decentralized 2.2 Fully centralized 2.3 Centralized&Decentralized 1. 引言 我们上一次讲到了Multi-agent的基本概念，现在来讲讲具体的训练方法，以Actor-Critic方法为例。 2. 训练架构 我们知道在Single-agent中的Actor-Critic方法中需要一个策略函数 作为Actor进行执行action，还有一个价值函数 进
MADDPG: Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments笔记
Melody1211的博客
03-30 880
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 1. 论文讲了什么 在这篇文章中通过基于所有代理的观测和动作学习一个集中的critic，指导每个代理的actor进行更新的方式，将DDPG方法推广到了多代理强化学习环境中得到了MADDPG算法。主要创新点有（1）将其它代理的观测信息和决策信息用于集中cri...
a multi-agent actor-critic framework是什么意思
07-10
"多智能体演员评论家框架"（multi-agent actor-critic framework）是一种用于解决多智能体强化学习问题的方法。在强化学习中，演员评论家（actor-critic）方法是一种组合了策略学习和值函数学习的技术。 在多智能体环境中，每个智能体都有自己的策略和值函数。演员（actor）根据当前的状态选择动作，评论家（critic）评估该动作的价值。演员根据评论家的反馈来更新策略，以使得智能体能够在环境中获得更好的回报。这种框架允许不同智能体之间相互影响和合作，以最大化整体的回报。 因此，"多智能体演员评论家框架"是一种结合了多智能体强化学习、策略学习和值函数学习的方法，用于解决多智能体环境中的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值