多智能体强化学习论文——COMA

最新推荐文章于 2024-08-13 09:46:33 发布
最新推荐文章于 2024-08-13 09:46:33 发布
阅读量1.4k 收藏 3
点赞数 1
分类专栏： 多智能体强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40317204/article/details/120014353
版权

存在的问题&研究动机&研究思路

  1. 遵循CTDE框架。是大规模多智能体训练的常见的范式，训练过程可以使用模拟器的全局状态信息，但是执行过程每个智能体只能依赖于自身的动作-观测值历史（常用循环神经网络来处理history）。
  2. 在协作的环境中，多智能体面临信誉分配的问题。联合动作产生的全局reward并不能让每个智能体很好的推断出自己对全局的贡献。
  3. 为了解决信誉分配问题，提出了反事实基准：固定其他智能体的动作，边缘化某个智能体的动作。
  4. 在agent之间传递梯度和参数共享，是两种常用于发挥集中式critic优势的方法。
  5. 对于使用参数共享的IAC，因为critic训练使用的是全局reward，因此对每个智能体不能很好的推断出自己对于全局reward的贡献度，当智能体数量变多的时候，梯度变得尤为noisy。因此才提出了使用counterfactual baseline。
  6. 反事实基准参考difference rewards：difference rewards的default action难以选择，并且需要额外的一套仿真，消耗过多计算资源。

创新点

  1. CTDE框架，actor使用参数共享。
  2. counterfactual baseline利用actor-critic框架的优势，计算出一个基准，从而解决了difference rewards存在的两个问题。在这里插入图片描述

算法框图

在这里插入图片描述

实验

  1. StarCraft： 离 散 动 作 空 间 : m o v e [ d i r e c t i o n ] , a t t a c k [ e n e m y   i d ] , s t o p , n o o p . 离散动作空间:move[direction], attack[enemy\ id], stop, noop. 离散动作空

最低0.47元/天 解锁文章
条件反射104
关注
专栏目录
【一】最新多智能体强化学习方法【总结】
丨汀、的博客
07-21 6362
1.连续动作状态空间算法 1.1MADDPG 1.1.1 简介 Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 这是OpenAI团队和McGill大学、UC Berkeley于2017合作发表在NIPS（现在称NeurIPS）上，关于多智能体强化学习（Multi-agent reinforcement learning, MARL）特别经典的一篇文章。本文不仅给出了MADDPG (Multi-agent.
强化学习 | COMA
行者AI
06-23 1133
本文首发于：行者AI 在多agent的强化学习算法中，前面我们讲了QMIX，其实VDN是QMIX的一个特例，当求导都为1的时候，QMIX就变成了VDN。QTRAN也是一种关于值分解的问题，在实际的问题中QTRAN效果没有QMIX效果好，主要是QTRAN的约束条件太过于松散，导致实际没有理论效果好。但是QTRAN有两个版本，QTRAN_BASE和QTRAN_ALT，第二版本效果比第一要好，在大部分实际问题中和QMIX的效果差不多。 上述的算法都是关于值分解的，每个agent的回报都是一样的。如果在一局王者.
强化学习—多智能体
最新发布
Tony Wey的博客
08-13 1684
多智能体强化学习是强化学习中的一个重要分支，涉及多个智能体在动态和交互的环境中学习和决策。它面临着挑战，如非稳定性、维度灾难以及智能体之间的协作与竞争。然而，随着算法的不断进步，MARL 在多个复杂应用领域中显示出巨大的潜力和前景。如果有更多的具体问题或需要深入讨论某个方面，欢迎继续提问！在一个包含多个玩家的博弈中，每个玩家都有一个策略集Σi\Sigma_iΣi​，以及对应的收益函数uiσ1σ2σnui​σ1​σ2​σn​，其中σi\sigma_iσ。
多智能体强化学习-COMA
dmj3214的博客
08-04 2850
多智能体强化学习-COMA 论文全称：Counterfactual Multi-Agent Policy Gradients 论文地址:https://arxiv.org/abs/1705.08926v1 摘要 协作多智能体系统可以很自然地用于建模许多现实世界的问题，例如网络分组路由或自主车辆的协调。因此，需要新的强化学习方法来有效地学习这种系统的分散策略。为此，提出了一种新的多智能体参与者批评方法，称为反事实多智能体策略梯度(COMA)。COMA使用一个集中的批评家来估计Q函数，并使用分散的参与者来优化代
多智能体强化学习- COMA
大鱼治不了水的博客
11-03 1726
COMA：反事实基线
COMA(一)： Learning to Communicate with Deep Multi-Agent Reinforcement Learning 论文讲解
qq_38638132的博客
12-15 2916
Learning to Communicate with Deep Multi-Agent Reinforcement Learning 论文讲解 论文链接：https://papers.nips.cc/paper/6042-learning-to-communicate-with-deep-multi-agent-reinforcement-learning.pdf （这篇论文是COMA三部曲中...
多智能体强化学习论文——MAAC
我的AI笔记
09-03 2887
存在的问题&研究动机&研究思路 多智能体值函数逼近，本质上来说是一个多任务回归问题。 MAAC从当前策略中采样动作值，儿MADDPG从replay buffer中抽样更新（容易造成overgeneralization）。 通过注意力计算的模型，可以使得每个智能体不需要相同的动作空间，也不需要全局的reward，并且动态的关注其他智能体（αi\alpha_iαi​动态变化）。这一切可以通过一个智能体iii的编码eie_iei​和其他智能体对智能体iii的影响xix_ixi​，concaten
多智能体强化学习论文——QMIX
我的AI笔记
08-18 939
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning Deep Multi-Agent Reinforcement Learning 存在的问题&研究动机&研究思路 利用额外状态信息学习联合动作价值的策略是一种attractive的方式，但分散式的策略尚不清晰，因此提出QMIX。 在部分可观测的情况下，只能依靠每个智能体历史的局部观测信息进行决策。 分散式的策略可以通
多智能体强化学习（MARL）近年研究概览
热门推荐
Paper weekly
03-15 1万+
©PaperWeekly 原创 ·作者｜李文浩学校｜华东师范大学博士生研究方向｜强化学习最近由于写论文的原因，梳理了一下近几年的多智能体强化学习（MA...
基于动态自选择参数共享的合作多智能体强化学习算法
weixin_70923796的博客
07-24 487
为了解决此类过度共享的问题，提出了一种新的方法来赋予智能体自动识别可能受益于共享参数的智能体的能力，并且可以在学习过程中动态地选择共享参数的对象。受上述人类交互情景的启发，本文提出智能体在学习的过程中可以同人类一般，即通过互相分享意图来决定共享策略参数的对象，并且智能体的意图可以随着时间的推移而改变。在本文中，智能体的意图（抽象特征）可以借助于神经网络的表示能力被捕获，并且本文允许智能体在学习过程中自主地分析自身以及其他智能体的意图，从而进行共享参数对象的选择。，它通过智能体与环境交互时的轨迹体现出来。..
强化学习&多智能体9.3 | 训练方式
ASKCOS博客
06-05 418
智能体独自训练，有独自的策略 多个智能体共同训练，共享策略和reward，这种训练方式只在每个智能体都知道其它智能体的环境下有效，如果环境是部分可见的或者智能体智能观测到自己的环境则不适用 ...
【COMA】一种将团队回报拆分为独立回报的多智能体算法
qq_38638132的博客
03-05 5259
文章目录1. COMA 解决了什么问题（Motivation）2. COMA 怎么解决独立回报分配问题（Method）2.1 核心思想 counterfactual baseline 的提出2.2 算法大框架 —— 基于 AC 框架的 CTDE（Centralized Training Distributed Execution）模式2.3 Actor 网络设计2.4 Critic 网络设计2.5 训练流程（Update Parameters）3. COMA 效果 COMA 是一种基于 Policy-Ba
论文项目：基于策略差异化的多智能体强化学习内在奖励研究
燕双嘤
01-06 607
最近，多智能体强化学习（MARL）在许多协作决策任务中取得了令人兴奋的表现。然而，MARL面临的主要瓶颈挑战之一是团队奖励的稀疏性，这可能导致智能体行为的同质化。为了解决这些问题，本文提出了一种渐进式多样化策略（PDP）算法。具体来说，我们在学习过程中积极放大智能体策略之间的多样性，并将多样性作为MARL的额外内在奖励来利用。此外，我们提出了一种渐进式多样性增强策略来寻找更好的团队策略。利用上述改进，我们的方法可以处理稀疏团队奖励，并减轻智能体的同质化行为。我们在广泛使用的MARL环境上进行了实验，结果表明
强化学习-通俗理解。
changdejie的专栏
08-02 1955
最近在学习强化学习，看了一些文章和课程，总结如下。   强化学习的定义。         假定一个智能体(agent),在一个未知的环境中(当前状态state)，采取了一个行动(action),然后收获了一个回报(return)，并进入了下一个状态。最终目的是求解一个策略让 agent的回报最大化。   强化学习求解算法，一般采用马尔可夫决策过程(MPD)，定义如下。     一个...
图解强化学习 原理 超详解 （二）
DFCED的博客
04-06 3744
上一篇博客中，我们讲解了 强化学习的 概念定义，以及详细全面的讲述了马尔可夫过程，这一篇我们将讲述马尔可夫决策过程所涉及到的策略优化及相关概念。 四.策略优化 马尔可夫决策过程对环境进行了描述，那么智能主体如何完成与环境的智能交互？ 这时我们就需要进行 策略学习 了 ...
多智能体强化学习——值分解方法理论及代码组件
qq_40831388的博客
10-12 1463
1.理论 值分解方法是一种主流的多智能体强化学习解决方案。 它使用集中式训练、分布式执行(CTDE)架构(在训练时能得到全局信息，在执行时只需要局部观测)，解决部分可观测问题；使用局部动作值函数以一定规则约束(一般为IGM)来拟合全局动作值函数，解决信度分配问题。 2.常见算法 ①VDN 直接把局部值函数直接相加得到全局值函数 [1706.05296] Value-Decomposition Networks For Cooperative Multi-Agent Le...
多智能体强化学习算法
07-29
多智能体强化学习算法有很多种，其中一种是COMA算法。COMA算法是一种基于价值函数值分解的方法，它将团队回报拆分为独立回报的多智能体算法。COMA算法使用Counterfactual Multi-Agent Policy Gradients来解析团队回报。\[1\] 另外，对于多智能体强化学习的仿真软件，有一些可供选择的工具。例如carla和metadrive。carla是一款自动驾驶仿真软件，但它可能不够轻量。而metadrive是另一个仿真软件，可以用于多智能体强化学习的研究。此外，还有一个名为SMARTS的开源项目，也可以用于多智能体强化学习的仿真。\[2\] 最后，关于on-policy和off-policy的概念，on-policy是指使用最新的策略来执行动作并收集数据，而off-policy的训练数据不是最新策略收集的。在on-policy中，使用同一个策略网络去采样动作并执行，并且更新Q值也需要用到该策略网络。\[3\] #### 引用[.reference_title] - *1* *2* *3* [多智能体强化学习理论与算法总结](https://blog.csdn.net/weixin_39735688/article/details/131260791)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值