【强化学习-13】Multi-Agent+Reinforcement learning

已于 2022-02-07 15:18:55 修改
阅读量1.6k 收藏 5
点赞数
分类专栏： RL+OR 机器学习+强化学习-笔记 文章标签： 强化学习 机器学习 深度学习
于 2022-01-28 22:45:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HsinglukLiu/article/details/122736811
版权

Multi-Agent+Reinforcement learning

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

术语

在这里插入图片描述

这里， a 1 , a 2 , ⋯   , a n a^1, a^2, \cdots, a^n a1,a2,⋯,an表示 n n n个agent的动作
Multi-agent的难点就在于下一个状态 s ′ s' s′是跟所有agent的动作都有关系的，他们之间互相影响，而非彼此独立

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 一个agent的策略变化，state-value是会变化的
  2. 改变自己的策略，不一定会增大自己的收益，因为其他agent也会改变他们的策略

Convergence

在这里插入图片描述

convergence： 无法通过改进policy来获得更大的期望回报

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 此时，这些agent之间不进行交流，不通信

在这里插入图片描述

在这里插入图片描述

一个 agent更新策略，会导致其他agent的策略都变化，因此可能无法收敛
所有的agents都在不停的更新自己的策略，这可能使得训练永远无法收敛

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

刘兴禄
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MultiAgent Reinforcement Learning算法解析与Python实现
禅与计算机程序设计艺术
08-20 723
作者：禅与计算机程序设计艺术 1.简介 1.1 Multi-Agent Reinforcement Learning(MARL) 在现实世界中，通常存在多个相互独立的智能体（agent）竞争同
Multi-agent reinforcement learning_An overview
04-03
Multi-agent reinforcement learning_An overview。
multi-agent reinforcement learning tensorflow代码实现
08-09
多智能体深度强化学习TensorFlow代码实现，有环境和演示实例
多代理强化学习MARL（MADDPG，Minimax-Q，Nash Q-Learning）
nakaizura
10-27 1万+
由于强化学习领域目前还有很多的问题，如数据利用率，收敛，调参玄学等，对于单个Agent的训练就已经很难了。但是在实际生活中单一代理所能做的事情还是太少了，而且按照群体的智慧，不考虑训练硬件和时长问题，使用多个agent同时进行学习，会不会有奇招呢？另外如果在需要multi-agent的场景下，如想要完成多人游戏的话，也必须要考虑到多代理的问题。 博弈论（game theory） 在单个agent...
Multi-Agent多智能体的当前研究、工具、挑战的概述
最新发布
Learning
04-15 92
多智能体会是LLMs的下一个热点么?看下最新的研究进展和相关工具、挑战！
使用PyTorch实现简单的AlphaZero的算法（3）：神经网络架构和自学习
deephub
11-29 4688
神经网络架构和训练、自学习、棋盘对称性、Playout Cap Randomization，结果可视化从我们之前的文章中，介绍了蒙特卡洛树搜索 (MCTS) 的工作原理以及如何使用它来获得给定棋盘状态的输出策略。我们也理解神经网络在 MCTS 中的两个主要作用；通过神经网络的策略输出来指导探索，并使用其价值输出代替传统的蒙特卡洛rollout算法。在这一部分中，我们将从这个神经网络的架构开始，检查它的不同层、输入和输出。然后了解如何使用自我对弈训练网络和研究用于训练神经网络的损失函数。
【学习之路】Multi Agent Reinforcement Learning框架与代码
qq_41234663的博客
10-13 403
Multi Agent Reinforcement Learning框架与代码学习
强化学习的 MultiAgent Reinforcement Learning：策略梯度与共同决策
禅与计算机程序设计艺术
12-26 1014
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它通过在环境中执行动作并从环境中接收奖励来学习如何实现最大化累积奖励的策略。多代理强化学习(Multi-Agent Reinforcement Learning, MARL)是一种拓展单代理强化学习的技术，它涉及到多个代理在同一个环境中同时执行动作并互相影响。在许多实际应用中，如自动驾驶、智能物流、...
多智能体强化学习入门
热门推荐
小星AI
10-24 1万+
参考文章：万字长文：详解多智能体强化学习的基础和应用 、多智能体强化学习入门（一）——基础知识与博弈 推荐文章：多智能体强化学习路线图 (MARL Roadmap) 推荐综述论文：An Overview of Multi-Agent Reinforcement Learning from Game Theoretical Perspective 参考书籍：《深度强化学习学科前沿与实战应用》 多智能体强化学习（Multi-agent RL简称MARL），是由RL和多智能体系统结合而成的新领域。多智能体系统起源
多智能体强化学习
Trony的博客
08-12 1277
Multi-Agent Reinforcement Learning Concepts and Challenges Setting 多智能体强化学习通常有四种设定 Fully cooperative 完全合作关系，这种设定里面，Agents的利益一致，获得的奖励相同，有共同的目标。 Fully competitive 完全竞争关系，一方的收益是另一方的损失。典型的代表就是0和博弈，双方获得的奖励的总和为0. Mixed Cooperative & comepetitive 既有竞
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）
guojunwu1977的博客
03-10 517
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）是强化学习的一个分支，专注于在含有多个智能体（agent）的环境中学习。在这类环境中，每个智能体不仅要考虑环境的状态和如何通过其动作来最大化自己的长期回报，还需要考虑其他智能体的存在和行为对自己策略的影响。多智能体系统在现实世界中非常常见，比如自动驾驶汽车、机器人协作、经济模型和社交网络分析等领域。
Multi-Agent-Reinforcement-Learning-Environment_强化学习_multi-agent_
10-01
多智能体强化学习环境，用于开发强化学习算法
Multi_agent_Reinforcement_Learning-master_PYTHON强化学习_learningpyt
10-01
多Agent强化学习的python实现相关代码
PhD-Thesis-Multi-agent-deep-reinforcement-learning-in-mobile-robotics
04-16
博士学位论文：移动机器人中的多主体深度强化学习这是我关于“移动机器人中的多主体深度强化学习”的博士学位论文的资料库。 回购将包含（在相应的子目录中）参考书目，我的演示文稿，我的出版物，一些代码以及我的...
Optimal control in microgrid using multi-agent reinforcement learning
02-20
This paper presents an improved reinforcement learning method to minimize electricity costs on the premise of satisfying the power balance and generation limit of units in a microgrid with grid-...
Multi-Agent-DRL:多主体深度强化学习研究
05-23
公用池资源系统中的深度多主体强化学习 中的论文中的实验源代码。 该论文已被接受并发表在IEEE CEC 2019上。 介绍 在复杂的社会生态系统中，具有不同目标的多个代理机构采取的行动会影响系统的长期动态。 共同资产池...
使用Pytorch在StarCraft II 星际争霸2上实现多智能体强化学习算法
想写就写咯
11-14 5109
文章目录前言正文torchMARLCorresponding PapersInstallationUsageResults3m5m_vs_6m 前言 之前因为一直没有实现Weighted QMIX，感觉公开的意义不大，所以就没写博客介绍。现在已基本复现了效果，受制于计算资源，没有完整运行论文中的实验。 仓库链接：https://github.com/jingranburangyongzhongwen/torchMARL 正文 torchMARL 主要是一些MARL算法的pytorch实现，目前包括： VDN
多智能体强化学习Efficient Communication in Multi-Agent Reinforcement Learning via Variance Based Control
qq_43749262的博客
05-17 515
多代理强化学习 (MARL) 最近受到广泛关注，因为它适用于广泛的实际应用。然而，实现代理之间的有效通信一直是 MARL 中的首要问题。在这项工作中，我们提出了基于方差的控制（VBC），这是一种简单而有效的技术，可以提高 MARL 中的通信效率。通过在训练阶段限制代理之间交换的消息的方差，可以有效地消除消息中的噪声成分，同时可以保留有用的部分并供代理使用以获得更好的性能。
actor-attention-critic for multi-agent reinforcement learning
04-08
Actor-Attention-Critic是一种用于多智能体强化学习的技术，其由三个主要组件构成，分别是演员（Actor）、注意力（Attention）和评论家（Critic）。演员用于根据当前状态选择一个行为，并将其传递给注意力网络，注意...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值