<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[我的AI笔记]]></title><description><![CDATA[主要记录大四毕设以来的学习内容]]></description><link>https://blog.csdn.net/qq_40317204</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; qq_40317204]]></copyright><item><title><![CDATA[信息熵、交叉熵、相对熵]]></title><link>https://blog.csdn.net/qq_40317204/article/details/123240631</link><guid>https://blog.csdn.net/qq_40317204/article/details/123240631</guid><author>qq_40317204</author><pubDate>Wed, 02 Mar 2022 21:19:33 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——ASN(ICLR 2020)]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120886243</link><guid>https://blog.csdn.net/qq_40317204/article/details/120886243</guid><author>qq_40317204</author><pubDate>Thu, 21 Oct 2021 20:32:08 +0800</pubDate><description><![CDATA[文章目录论文：ACTION SEMANTICS NETWORK: CONSIDERING THE EFFECTS OF ACTIONS IN MULTIAGENT SYSTEMS存在的问题&amp;研究动机&amp;研究思路创新点算法框图实验some points
论文：ACTION SEMANTICS NETWORK: CONSIDERING THE EFFECTS OF ACTIONS IN MULTIAGENT SYSTEMS
存在的问题&amp;研究动机&amp;研究思路

自然界中的多智能体协作任]]></description><category></category></item><item><title><![CDATA[StarCraft Multi-Agent Challenge (SMAC)——多智能体强化学习仿真benchmark]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120867677</link><guid>https://blog.csdn.net/qq_40317204/article/details/120867677</guid><author>qq_40317204</author><pubDate>Wed, 20 Oct 2021 15:56:27 +0800</pubDate><description><![CDATA[StarCraft包括Macromanagement和Micromanagement。其中macro包括宏观和微观的操作，是选手级别的，目的在于赢得完整的比赛胜利；而micro仅包含微观的操作，用于训练和验证marl算法。
SMAC基于的是StarCraft II Learning Environment(PySC2)和StarCraft II 的API搭建的平台，PySC2和SMAC二者的区别为：

SMAC平台的的相关信息：https://github.com/oxwhirl/smac/blob/ma.]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——RODE]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120707852</link><guid>https://blog.csdn.net/qq_40317204/article/details/120707852</guid><author>qq_40317204</author><pubDate>Wed, 13 Oct 2021 21:01:06 +0800</pubDate><description><![CDATA[文章目录论文：RODE: LEARNING ROLES TO DECOMPOSE MULTI-AGENT TASKS存在的问题&amp;研究动机&amp;研究思路创新点算法框图some points
论文：RODE: LEARNING ROLES TO DECOMPOSE MULTI-AGENT TASKS
存在的问题&amp;研究动机&amp;研究思路

将复杂任务基于角色分解会有较好的scalable，但是角色如何学习（如何分组）是不好实现的。
作者基于动作的效果将智能体进行分组，将动作空间分解。

创]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——ROMA]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120652668</link><guid>https://blog.csdn.net/qq_40317204/article/details/120652668</guid><author>qq_40317204</author><pubDate>Wed, 13 Oct 2021 17:03:58 +0800</pubDate><description><![CDATA[文章目录论文：ROMA: Multi-Agent Reinforcement Learning with Emergent Roles存在的问题&amp;研究动机&amp;研究思路创新点算法框图some points
论文：ROMA: Multi-Agent Reinforcement Learning with Emergent Roles
存在的问题&amp;研究动机&amp;研究思路

ROMA提出智能体的策略是建立在智能体角色上的。
智能体的角色是由智能体的局部观测值决定的随机变量，有相似职责的智能]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——MAVEN]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120722928</link><guid>https://blog.csdn.net/qq_40317204/article/details/120722928</guid><author>qq_40317204</author><pubDate>Wed, 13 Oct 2021 14:23:04 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

Qmix的monotonic约束，导致算法得到局部最优解。文章给出了证明。
在单体强化学习任务中，可以通过动态调整ϵ\epsilonϵ的大小使探索更充分，然而多体中无法使用。
MAVEN为了解决探索问题，引入了分层控制的隐空间。

创新点

通过隐策略产生隐空间变量zzz，在一个episode固定相关参数θ\thetaθ,ϕ\phiϕ,ψ\psiψ，产生Wz,aW_{z,a}Wz,a​来增加每个智能体的探索。属于分层的控制。
在每一个时间步t，最大化轨迹τ\]]></description><category></category></item><item><title><![CDATA[信息论：熵、相对熵、互信息、链式法则]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120660089</link><guid>https://blog.csdn.net/qq_40317204/article/details/120660089</guid><author>qq_40317204</author><pubDate>Sat, 09 Oct 2021 09:47:40 +0800</pubDate><description><![CDATA[文章目录Entropy熵的定义Joint EntropyConditional Entropy链式法则Zero EntropyRelative EntropyMutual Informationvenn图表示熵和互信息的关系熵的链式法则信息的链式法则Conditional Relative Entropy某些性质
Entropy
熵的定义

二进制熵函数：


熵还可以看作是以下的期望值：

对于熵有以下性质：

Joint Entropy
联合熵的定义：

联合熵与熵的结论：

联合熵同样可以写为期望的形]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——LSC]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120462290</link><guid>https://blog.csdn.net/qq_40317204/article/details/120462290</guid><author>qq_40317204</author><pubDate>Fri, 08 Oct 2021 15:13:00 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路
创新点
算法框图


实验
some points

]]></description><category></category></item><item><title><![CDATA[论文中画带标准差阴影的曲线图：seaborn.lineplot()]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120577308</link><guid>https://blog.csdn.net/qq_40317204/article/details/120577308</guid><author>qq_40317204</author><pubDate>Fri, 01 Oct 2021 13:57:11 +0800</pubDate><description><![CDATA[绘图
以PPO算法在gym"BipedalWalker-v3"环境的reward曲线为例，绘制阴影图。
# 导入库函数
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
plt.style.use('ggplot')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus']]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——DyMA-CL（AAAI 2020）]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120431776</link><guid>https://blog.csdn.net/qq_40317204/article/details/120431776</guid><author>qq_40317204</author><pubDate>Thu, 23 Sep 2021 23:42:48 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路
创新点
算法框图
some points

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——QPLEX]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120409961</link><guid>https://blog.csdn.net/qq_40317204/article/details/120409961</guid><author>qq_40317204</author><pubDate>Thu, 23 Sep 2021 11:03:18 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

对于CTDE框架下的多智能体值方法，joint greedy action应该等于每个个体的greedy action的集合，即IGM原则。
VDN和QMIX提出的联合效用函数与单体效用函数的相加性和单调性。

创新点

提出了advantage-based IGM，将IGM的动作值函数一致性约束转化为优势函数的一致性约束。
一致性约束的好处是，它可以通过限制优势函数的取值范围，直接实现其一致性约束。
最终的QtotQ_{tot}Qtot​可以写为：

等式]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——G2ANet（AAAI 2020）]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120351068</link><guid>https://blog.csdn.net/qq_40317204/article/details/120351068</guid><author>qq_40317204</author><pubDate>Wed, 22 Sep 2021 10:08:40 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路
创新点
算法框图
实验
some points

]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——ATOC（NIPS 2018）]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120277905</link><guid>https://blog.csdn.net/qq_40317204/article/details/120277905</guid><author>qq_40317204</author><pubDate>Fri, 17 Sep 2021 16:01:33 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

在多智能体协作任务中，智能体通信是一种有效方式。但是智能体数量很多的时候，对某个智能体来说，他很难确定哪些信息是有价值的，这使得通信效果大打折扣甚至起副作用。
在真实世界中，通信需要消耗高带宽和计算复杂度。
预先定义的通信机制有可能会限制通信的效果和抑制一些潜在的协作策略。

创新点
算法框图
实验
some points

...]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——HAMA（AAAI 2020）]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120261098</link><guid>https://blog.csdn.net/qq_40317204/article/details/120261098</guid><author>qq_40317204</author><pubDate>Mon, 13 Sep 2021 23:12:43 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

目前的多智能体强化学习任务主要集中在得到一个分散式的协作的策略来最大化集体奖励。这样模型的可扩展性较差，不能用到更复杂的多智能体任务。
目前多数模型用于纯协作或者纯竞争的环境，无法应用于混合式的环境。
CTDE的框架有维度灾难*的问题，当智能体数量增加，critic的训练将会变得很难。
最基本的问题还是，当前很多训练好的模型无法被迁移到 有不同数量的智能体，且不同智能体有不同的目标的任务。即可迁移性较差。

创新点
算法框图
实验

...]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——SEAC（NIPS 2020)]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120235204</link><guid>https://blog.csdn.net/qq_40317204/article/details/120235204</guid><author>qq_40317204</author><pubDate>Sun, 12 Sep 2021 17:23:03 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

在稀疏奖励的环境下，多智能体的exploration存在效率不足等问题。
在IAC的基础上尝试加入重要性采样，使得每次更新智能体iii的参数时，不再仅仅使用智能体iii的数据，而是使用所有智能体的数据进行智能体iii数据的更新。
对于原始的IAC算法是on-policy的，而SEAC则是off-poligy的。

创新点

在每个智能体iii的actoriactor_iactori​和criticicritic_icritici​的更新过程中，都加入了重要性]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——SePS（ICML 2021)]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120196029</link><guid>https://blog.csdn.net/qq_40317204/article/details/120196029</guid><author>qq_40317204</author><pubDate>Sat, 11 Sep 2021 10:54:47 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

参数共享作为多智能体里面的基本范式，但是其效果依赖于环境和智能体的奖励，当这些项不同的时候，naive的参数共享就变得不那么有效。
文章将每个智能体编码到新的嵌入空间中，然后将无监督聚类应用到嵌入空间中。

创新点

通过VAE，在RL训练之前，通过buffer里面的数据学习一个隐空间z。VAE的目的不是确保动态估计下一状态的观测值和奖励的准确性，而是使用学习到的隐空间z来做无监督的分组，得到一个静态的分组，组内使用参数共享。随后再进行强化学习训练。
SeP]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——MAAC]]></title><link>https://blog.csdn.net/qq_40317204/article/details/119885273</link><guid>https://blog.csdn.net/qq_40317204/article/details/119885273</guid><author>qq_40317204</author><pubDate>Fri, 03 Sep 2021 11:57:24 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

多智能体值函数逼近，本质上来说是一个多任务回归问题。
MAAC从当前策略中采样动作值，儿MADDPG从replay buffer中抽样更新（容易造成overgeneralization）。
通过注意力计算的模型，可以使得每个智能体不需要相同的动作空间，也不需要全局的reward，并且动态的关注其他智能体（αi\alpha_iαi​动态变化）。这一切可以通过一个智能体iii的编码eie_iei​和其他智能体对智能体iii的影响xix_ixi​，concaten]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——COMA]]></title><link>https://blog.csdn.net/qq_40317204/article/details/120014353</link><guid>https://blog.csdn.net/qq_40317204/article/details/120014353</guid><author>qq_40317204</author><pubDate>Tue, 31 Aug 2021 11:43:24 +0800</pubDate><description><![CDATA[存在的问题&amp;研究动机&amp;研究思路

遵循CTDE框架。是大规模多智能体训练的常见的范式，训练过程可以使用模拟器的全局状态信息，但是执行过程每个智能体只能依赖于自身的动作-观测值历史（常用循环神经网络来处理history）。
在协作的环境中，多智能体面临信誉分配的问题。联合动作产生的全局reward并不能让每个智能体很好的推断出自己对全局的贡献。
为了解决信誉分配问题，提出了反事实基准：固定其他智能体的动作，边缘化某个智能体的动作。
在agent之间传递梯度和参数共享，是两种常用于发挥集中式cr]]></description><category></category></item><item><title><![CDATA[多智能体强化学习论文——QMIX]]></title><link>https://blog.csdn.net/qq_40317204/article/details/119754949</link><guid>https://blog.csdn.net/qq_40317204/article/details/119754949</guid><author>qq_40317204</author><pubDate>Wed, 18 Aug 2021 14:27:59 +0800</pubDate><description><![CDATA[QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
Deep Multi-Agent Reinforcement Learning
存在的问题&amp;研究动机&amp;研究思路

利用额外状态信息学习联合动作价值的策略是一种attractive的方式，但分散式的策略尚不清晰，因此提出QMIX。
在部分可观测的情况下，只能依靠每个智能体历史的局部观测信息进行决策。
分散式的策略可以通]]></description><category></category></item><item><title><![CDATA[多智能体深度强化学习 经典算法框架（入门）]]></title><link>https://blog.csdn.net/qq_40317204/article/details/119751299</link><guid>https://blog.csdn.net/qq_40317204/article/details/119751299</guid><author>qq_40317204</author><pubDate>Tue, 17 Aug 2021 10:41:55 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>