文献阅读：Counterfactual Multi-Agent Policy Gradients

最新推荐文章于 2024-11-08 14:32:06 发布
最新推荐文章于 2024-11-08 14:32:06 发布
阅读量231 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44396511/article/details/120611820
版权

（1）使用baseline 来从critic中区分不同动作的价值A=Q-V

andlikell
关注
TARMAC: TARGETED MULTI-AGENT COMMUNICATION（TARMAC：目标多代理通信）
weixin_41697507的博客
06-27 2138
ABSTRACT We explore a collaborative multi-agent reinforcement learning setting where a team of agents attempts to solve cooperative tasks in partially-observable environ-ments. In this scenario, learn...
About communication in Multi-Agent Reinforcement Learning
weixin_41697507的博客
06-22 1047
Communication is one of the components of MARL and an active area of research itself, as it might influence the final performance of agents, and it affects coordination or negotiation directly. Effect...
COMA（二）：Counterfactual Multi-Agent Policy Gradients 论文讲解
qq_38638132的博客
12-18 5854
Counterfactual Multi-Agent Policy Gradients 论文链接：https://arxiv.org/pdf/1705.08926.pdf 1. 问题提出（解决了什么问题？） 在现实世界中，有非常多的问题需要多个单位之间的“合作”才能完成任务，这就需要学习一种非中心式策略的控制系统，即每个agent有着属于自己的决策大脑，而非靠拥有全局信息的决策系统下达指令（毕竟...
Counterfactual multi-agent policy gradients.
qq_36616268的博客
02-27 1890
这个是实验室做项目的时候用到的一个算法，我没仔细看原文，主要看了一下github上的code 一般智能体协作存在的问题： 1：joint action随着智能体增加指数级增大 2：由于部分可观测性，每个agent只能观测到自己的信息，没有信息共享（很多实验跑的都是全局信息当做局部，也就不存在这个问题，还有一些直接输入两个agent的信息，理论上也不存在） 3：使用联合动作空间获得的rewa...
阅读COMA:Counterfactual Multi-Agent Policy Gradients
养羊的博客
09-23 1270
COMA题目作者摘要主要方法环境代码其他 题目 Counterfactual Multi-Agent Policy Gradients，AAAI2018 作者 牛津做多智能体强化学习的大佬组，后续多智能体强化学习的很多工作比如MAVEN也还是这个组做的，这里的Jakob N. Foerster很厉害，现在在FaceBook AI，他通信、多智能体竞争、合作都在研究。 摘要 单纯的强化学习用到多智能体环境下效果并不是很好，如果完全集中式学习，那么可能联合动作空间太大，学不了；或者说有些环境下要求执行的时候就
【多智能体强化学习】经典论文COMA：Counterfactual Multi-Agent Policy Gradients
最新发布
JTB__JJ的博客
11-08 545
COMA解读
COMA: Counterfactual Multi-Agent Policy Gradients笔记
Melody1211的博客
04-01 2303
1. 论文讲了什么/主要贡献是什么 文章介绍了COMA算法，主要解决了在集中训练、分散决策的框架中，全局全局奖励的分配问题。文中受到difference rewards的启发，采用了根据当前代理采取的动作相比于当前代理采取默认动作对全局奖励的提高来判断代理对全局奖励的贡献大小，从而对代理的actor进行有效的更新。并根据算法设计了能够有效估计优势函数的方式。 2. 论文摘要： Cooperativ...
MADDPG: Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments笔记
Melody1211的博客
03-30 1038
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 1. 论文讲了什么 在这篇文章中通过基于所有代理的观测和动作学习一个集中的critic，指导每个代理的actor进行更新的方式，将DDPG方法推广到了多代理强化学习环境中得到了MADDPG算法。主要创新点有（1）将其它代理的观测信息和决策信息用于集中cri...
【奖励分配】反事实多智能体策略梯度
qq_18506857的博客
07-10 423
Independent Actor-Critic：缺乏信息时很难学到协调策略，也难以评估单个agent action在整体中的奖励。在agent之间共享参数：只学习一个演员和一个评论家，它们被所有agent使用。此外，计算每个agent的优势函数：将Q值与反事实基线（任何一个agent的改进会提高整体奖励。学习，将全局奖励与agent a的默认动作（，并且agent的动作不依赖于默认动作。，当a的动作发生变化时直接从经验中学习。为agent a的历史观察。及对应的梯度，和下面一样。及对应的梯度，优势函数。
【MADRL】反事实多智能体策略梯度（COMA）算法
追风赶月莫停留，平芜尽处是春山
09-10 2842
反事实多智能体策略梯度法COMA (Counterfactual Multi-Agent Policy Gradient) 是一种面向多智能体协作问题的强化学习算法，旨在通过减少策略梯度的方差，来提升去中心化智能体的学习效果。 COMA 算法最早由 DeepMind 团队提出，论文标题为 "Counterfactual Multi-Agent Policy Gradients"，由 Jakob Foerster 等人于 2017 年在 AAAI 会议上发表。适用于局部观察、去中心化决策的多
梯度反传_反事实政策梯度解释
weixin_26746401的博客
09-08 440
梯度反传Among many of its challenges, multi-agent reinforcement learning has one obstacle that is overlooked: “credit assignment.” To explain this concept, let’s first take a look at an example… 在许多挑战中，多主...
论文阅读：Scene Dynamics: Counterfactual Critic Multi-Agent Training for Scene Graph Generation
Kivee的博客
12-19 1177
Scene Dynamics 文章   我之前一直想着要提高scene graph的质量，最重要的应该是提高对关系的识别能力，也就是提高predcls任务的效果，但是本文提醒了我，把对目标的识别和和关系的识别结合起来，也能有效提高scene graph的质量。   本文认为，目前的关系检测算法大都没有将目标的检测放在graph的层次上思考，message passing算是...
反事实（counterfactual）简述
热门推荐
qq_37030400的博客
02-04 1万+
1.定义 反事实counterfactual是对已有结果进行假设，再推理，估计其中一项影响因素的发生概率。 2.用处 近年来在机器学习中广泛应用，指代与因果分析相关的广泛性技术。 3.典型实例 1.已知 Alice 在工作中没有得到晋升，已知她是一名女性，已知我们可以观察到的关于她的情况和表现的一切事情，那么，如果 Alice 是男性，她的晋升概率又会如何？ 我们问这个问题，目的是在检测性别对结果有多大的影响。但是我们在这里，需要明确的一点就是，这是一个单独的公平性概念，不是整个模型的公平性。也就是说，我们
读论文《Counterfactual Explainable Recommendation》
buganything的博客
06-13 726
​增加可解释性的动机​ 可解释性对于推荐系统至关重要，因为在推荐场景中，我们很少可以说一些推荐是绝对正确的，另一些推荐是绝对错误的，相反，它完全依赖于良好的解释来帮助用户理解为什么一个项目被推荐，从而增加透明度和信任，使更好的决策;好的解释还可以帮助系统设计人员跟踪复杂推荐模型的行为，以便更好地调试。​ 一个突出的方法是方面感知（aspect-aware）的可解释推荐，它采用显式的项目特征/方面来构建解释。Li et al.[29]提出了一种个性化的Transformer来生成方面启发的自然语言解释。
战术网络强化学习环境-基于多智能体的场景生成
赛亚茂的博客
09-22 1713
提出了用于生成实际战术场景的战术模型(Tactical Model)的新概念，可将其作为DRL的输入。将游戏环境设计为一种单位能够通过通信网络共享信息以协调他们的方式策略。使用GNN的方法实现个体周围环境状态的综合。
多智能体强化学习_多智能体强化学习的几种Best Practice
weixin_39812577的博客
11-30 1745
（草稿阶段，完成度40%）这里分享一下A Survey and Critique of Multiagent Deep Reinforcement Learning这篇综述里面介绍的多智能体强化学习Best Practice。这部分内容大部分来自第四章，但是我根据自己的理解加上了其他的内容。1.改良Experience replay buffer1.1 传统的Single-agent场景之下的Re...
反事实因果(Counterfactual)简介
Jie Qiao的专栏
03-15 1万+
Counterfactual 简介 确定的反事实 反事实是什么？用了例子说明，比如你去了二仙桥，走的是成华大道，但是用了很久才到，于是你就想要是当初坐地铁就好了。你会发现，“要是坐地铁就好了”这个推断只有在发生了，“走成华大道用了很久”这个事实下才成立的。什么意思呢，就是一般情况下走成华大道跟地铁是差不多的，但是当天路上发生了一个事故耽误了很久，在已知事实下，你才能推断出坐地铁更好的结论，否则这个结论是不成立的。显然，我们常用的average treatment effect都无法表达这一类推断，因此，我们
谈谈机器学习模型的可解释性
平平淡淡，戒急用忍，一生学闭嘴。
11-02 1544
随着AI和机器学习的发展，越来越多的决策会交给自动化的机器学习算法来做。但是当我们把一些非常重要的决定交给机器的时候，我们真的放心么？当波音飞机忽略驾驶员的指令，决定义无反顾的冲向大地；当银行系统莫名其妙否决你的贷款申请的时候；当自动化敌我识别武器系统决定向无辜平民开火的时候；人类的内心应该是一万个草泥马飞过，大声的质问，“为什么？” 机器学习算法可以看成是如上图所示的黑盒子模型，训练数据流入黑盒子，训练出一个函数（这个函数也可以称之为模型），输入新的数据到该函数得出预测结果。关于模型的可解释性，就是
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值