MAAC注意力模块简要笔记

MAAC注意力模块笔记

MAAC的主要思想是通过有选择的注意其他智能体的信息，来为每个智能体学习一个critic。每个智能体询问其他智能体有关它们观察和动作的信息，并把此信息纳入对自己值函数的估计中。每个智能体都由一个critic，但是所有critic使用一个共享的注意模块。

为了计算每个智能体i的$Q_i^{\psi }(o,a)$，critic接收所有的观察和动作。把除了智能体i以外的所有智能体记作$j$， $Q_i^{\psi }(o,a)=f_i(g_i(o_i,a_i),x_i)$就是有关以下三部分的函数：

• 智能体$i$的观察;
• 智能体$i$的动作;
• $j$的贡献。

$x_i$是除$i$外每个智能体value的加权和：

$x_i={\sum }_{(j\ne i)}{\alpha }_j{v}_j$

智能体$j$的value：

$v_j=h(V{g}_j(o_j,a_j))$

先把其观察和动作做嵌入，之后通过一个共享的矩阵V进行线性转换，h是非线性的MAAC中用的是ReLU，应该属于激活函数。

智能体j的权重${\alpha }_j$的计算：

${\alpha }_j\propto exp(e_j^T{W}_k^T{W}_q{e}_i)$

将$e_j$与$e_i$比较（使用双线性映射如query-key系统），并将二者的相似性值传入softmax。显然智能体j的嵌入与智能体i的嵌入越相似，其权重也就越高。

使用多个注意头（Multiple Attention Heads）
每个头对应一个智能体$i$、使用一组参数（$W_k$，$W_q$，$V$，在所有智能体之间共享），产生$x_i$。至关重要的是，头与头之间对其他智能体信息的加权情况可以不同，也就是说不同的智能体对其他智能体的关注情况可以不同。

结构：

每个智能体对其观察和动作进行编码，发送到中心注意机制模块，并接收其他智能体的信息（其他智能体编码的加权和）。

优势：
MAAC不假设每个智能体的动作空间相同（但需要离散），不需要全局奖励，并动态关注其他智能体。