张海峰-从博弈论到多智能体强化学习

最新推荐文章于 2024-08-13 09:46:33 发布
最新推荐文章于 2024-08-13 09:46:33 发布
阅读量3.8k 收藏 71
点赞数 11
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38293297/article/details/108705709
版权

文章目录

内容摘要

  • ·随着以图像识别为代表的“感知智能”日趋成熟，越来越多的人工智能研究者开始关注以AlphaGo为代表的“决策智能”。在即将来临的物联网时代，群体决策智能将成为一个研究重点。
  • ·传统上，博弈论研究的是多个智能体的理性决策问题。它定义了动作、收益等博弈基本概念，侧重分析理性智能体的博弈结果，即均衡。然而，在很多现实问题中，博弈的状态空间和动作空间都很大，智能体的绝对理性是很难实现的.智能体往往处在不断的策略学习过程中。因此，近年来兴起的多智能体强化学习主要研究智能体策略的同步学习和演化问题，它在无人机群控制、智能交通系统、智能工业机器人等场景中具有很大的应用前景。

群体决策智能研究背景

AI 发展趋势

在这里插入图片描述

群体智能决策问题场景

  • 围棋、王者荣耀、星际争霸
    在这里插入图片描述
  • 快递仓库、无人机群、交通路口
    在这里插入图片描述
  • 社会中的人的决策
    在这里插入图片描述

博弈论

博弈的定义

在这里插入图片描述

矩阵博弈

在这里插入图片描述

策略推理

在这里插入图片描述
在这里插入图片描述

博弈的解

在这里插入图片描述

  • 有一组策略，如果玩家改变其中的动作，都会使收益不会上升，这样的策略组合就是纳什均衡。

在这里插入图片描述

在这里插入图片描述

协同问题

在这里插入图片描述

特殊的博弈：合作与竞争

在这里插入图片描述

多智能体强化学习

现实中的博弈

在这里插入图片描述

马尔科夫博弈

在这里插入图片描述

强化学习

在这里插入图片描述
在这里插入图片描述

学习目标一：均衡

在这里插入图片描述
在这里插入图片描述

学习目标二：协同

在这里插入图片描述
对对手的以往的表现后的想法有一定的推断；当前agent在做决策的时候会考虑一下对手在当前agent做了这个动作后会采取什么表现；对手也会同样这么考虑。这个是一层的考虑模型；；后续又做了一个多层的工作；

学习目标三：合作

在这里插入图片描述
在这里插入图片描述

  • 训练时，在AC框架的Critic上 ，action 拿到的是所有agent的action的组合；这个Q的设置下，可以对其他的动作做一个隐含的关联。
  • 在上图的中间图的合作场景下获得了不错的效果。

研究展望

智能体社会结构学习

在这里插入图片描述
现实中的 agent 通常是 异构 的；；

群体决策标准评测环境

在这里插入图片描述

晴晴_Amanda
关注
专栏目录
多智能体强化学习 (MultiAgent Reinforcement Learning)
AI架构设计之禅
09-04 1284
随着人工智能技术的不断发展，强化学习在单智能体场景下取得了显著成果。然而，现实世界中许多问题都涉及多个智能体之间的交互和协作，例如自动驾驶、多机器人系统、多人游戏等。这些场景对智能体的决策能力提出了更高的要求，如何使多个智能体之间能够相互学习、协作，共同完成任务，成为了人工智能领域的一个重要研究方向。多智能体强化学习(Multi-Agent Reinforcement Learning, MARL)正是为了解决这类问题而诞生。
博弈论与多智能体强化学习
wq6qeg88的博客
03-21 931
在纳什均衡下，每个参与者的策略是最优的，给定其他参与者的策略，任何一个参与者都无法通过改变自己的策略获得更好的结果。纳什均衡是一种稳定的策略组合，因为每个参与者都已经选择了最佳响应，并且不愿意单方面改变策略。演化稳定策略是指在生物进化系统中，一种策略能够稳定存在并传播下去，在长期演化过程中难以被其他策略所替代。演化稳定策略通常具有一定的优势地位，可以在演化过程中获得更大的生存机会或繁殖成功率。
多智能体强化学习
小小何先生的学习之旅
08-28 3950
  当整个强化学习系统存在多个智能体的时候，我们称作多智能体强化学习。强化学习中智能体与环境交互获得数据以及一些反馈信号，通过不断的交互和反馈信号最终达到控制目标。   那如果是Multi-Agent的话，从一个Agent角度来看，环境当中还会存在其它Agent，环境中的Agent也在执行强化学习算法。这样的环境我们称作Non-stationary environment，也就是说环境中的分布、s...
强化学习——多智能体强化学习
菜到怀疑人生的博客
04-22 1万+
文章目录前言多智能体系统的设定合作关系设定下的多智能体系统策略学习的目标函数合作关系下的多智能体策略学习算法MAC-A2C 前言 本文总结《深度强化学习》中的多智能体强化学习相关章节，如有错误，欢迎指出。 多智能体系统的设定 多智能体系统包含有多个智能体，多个智能体共享环境，智能体之间相互影响。一个智能体的动作会改变环境状态，从而影响其他智能体。 多智能体之间存在四种常见的关系 完全合作关系：多个智能体之间的目标一致，做出动作后获得的奖励相同。 完全竞争关系：某个智能体获得收益会导致某些的智能体亏损。
五子棋博弈智能系统设计与人工智能搜索策略
博弈智能设计在五子棋中的应用是一项具有挑战性的研究课题，这篇论文由张海峰、白振兴和张登福三位作者共同完成，来自空军工程大学工程学院。博弈，作为人工智能的核心领域之一，涵盖了推理技术、搜索方法和决策规划...
万兆芯片突破发展瓶颈 融合创新助推行业升级——专访北京吉视汇通科技有限责任公司董事长张海峰.pdf
07-26
通过光纤入户技术，能够实现家庭用户端的宽带接入，这不仅提升了用户的网络体验，也促进了智能家庭、智慧城市的发展。随着“宽带中国”战略的实施，光纤入户已经从部门行动上升为国家战略，成为一项重要的公共基础...
注水井智能监测系统在油田的应用.pdf
09-13
同时，系统的智能化程度也将持续提高，通过深度学习和人工智能技术，实现更精准的预测和决策支持，为油田的可持续发展提供有力保障。 参考文献： [1] 雷文庆, 张晓东, 张海峰. 注水井智能监测系统在油田的应用[J]. ...
多岛遗传算法优化Realizable k-ε湍流模型研究
"这篇论文是2011年由宋昕、谷正气、张清林和张海峰发表在《湖南大学学报（自然科学版）》第38卷第2期上的，主要研究了基于多岛遗传算法的湍流模型优化。研究中，他们利用Isight软件的优化拉丁方法设计了20组...
强化学习—— 多智能体强化学习
Cyrus_May的博客
04-11 1万+
强化学习—— 多智能体强化学习1. 多智能体关系分类1.1 合作关系（Fully Cooperative）1.2 竞争关系（Fully Competitive）1.3 混合关系（Mixed Cooperative & Competitive）1.4 利己关系（self-interested）2. 专业术语（Terminologies）2.1 假设agent个数为2.2 状态为2.3 第i个agent的动作为2.4 状态转移函数2.5 奖励（Reward）2.6 回报（Return）2.7 策略
强化学习—多智能体
最新发布
Tony Wey的博客
08-13 2384
多智能体强化学习是强化学习中的一个重要分支，涉及多个智能体在动态和交互的环境中学习和决策。它面临着挑战，如非稳定性、维度灾难以及智能体之间的协作与竞争。然而，随着算法的不断进步，MARL 在多个复杂应用领域中显示出巨大的潜力和前景。如果有更多的具体问题或需要深入讨论某个方面，欢迎继续提问！在一个包含多个玩家的博弈中，每个玩家都有一个策略集Σi\Sigma_iΣi​，以及对应的收益函数uiσ1σ2σnui​σ1​σ2​σn​，其中σi\sigma_iσ。
强化学习 之 多智能体（Multi-Agent）强化学习
热门推荐
Test_tju的博客
11-18 2万+
参考 1、多智能体强化学习入门（一）——基础知识与博弈 2、《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》论文解读
多智能体强化学习：多智能体系统
qq_40206371的博客
06-01 7761
智能体的利益一致，获得的奖励相同，有共同的目标。 奖励 (Reward) 是环境反馈给智能体的数值。把第 i 号智能体的奖励随机变量记作，把奖励的实际观测值记作 t时刻的奖励由状态St和所有智能体的动作共同决定折扣回报，定义和单智能体类似 智能体i在时刻t的（折扣）回报依赖于未来所有的状态 和所有智能体未来的动作 其中： 很显然第i号智能体的状态价值依赖于所有智能体的策略：
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）
guojunwu1977的博客
03-10 969
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）是强化学习的一个分支，专注于在含有多个智能体（agent）的环境中学习。在这类环境中，每个智能体不仅要考虑环境的状态和如何通过其动作来最大化自己的长期回报，还需要考虑其他智能体的存在和行为对自己策略的影响。多智能体系统在现实世界中非常常见，比如自动驾驶汽车、机器人协作、经济模型和社交网络分析等领域。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值