论文笔记_A Decentralized Communication Policy for Multi Agent Multi Armed

基础符号

符号	说明
$t$	时刻
i ∈ { 1 , 2 , 3... n 0 } i \in \{1,2,3...n_0\} i∈{1,2,3...n0​}	选择（options、levels)
$i_{\ast }$	最佳选择（optimal option）
j ∈ { 1 , 2 , 3... n A } j \in \{1,2,3...n_A\} j∈{1,2,3...nA​}	玩家（agents）
${\mathcal{N}}_j^t$	与玩家$j$在时刻$t$进行交流的邻居集合（$j\in {\mathcal{N}}_j^t$）
φ i t ∈ { 1 , 2 , 3... n 0 } \varphi _i^t \in \{1,2,3...n_0\} φit​∈{1,2,3...n0​}	玩家$i$在时刻$t$做出的选择
$X_i^t$	在时刻$t$选择了$i$，对应的收益（reward）
Π { φ j t = i } ∈ { 0 , 1 } \Pi_{\{\varphi _j^t=i\}} \in \{0,1\} Π{φjt​=i}​∈{0,1}	玩家$j$在时刻$t$是否选择了$i$
ϵ i j t ≜ { 1 , i f ( ∑ k ∈ N j t Π { φ k t = i } ) ≠ 0 0 , i f ( ∑ k ∈ N j t Π { φ k t = i } ) = 0 \epsilon _{ij}^t \triangleq \left\{\begin{matrix}1, & if \left ( \sum_{k \in \mathcal N_j^t} \Pi_{\{\varphi _k^t=i\}} \right ) \neq 0\\0, & if \left ( \sum_{k \in \mathcal N_j^t} \Pi_{\{\varphi_k^t=i\}} \right ) = 0\end{matrix}\right. ϵijt​≜⎩⎨⎧​1,0,​if(∑k∈Njt​​Π{φkt​=i}​)​=0if(∑k∈Njt​​Π{φkt​=i}​)=0​	玩家$j$及其邻居是否有人在时刻$t$选择了$i$
$$N_{ij}(t)\triangleq \sum _{v=1}^t{ϵ}_{ij}^v=N_{ij}(t-1)+{ϵ}_{ij}^t$$	玩家$j$及其邻居在时间$[1,2...t]$内选择$i$的总次数
S j ( T ) ≜ ∑ i = 1 n 0 ∑ t = 1 T X i t Π { φ j t = i } S_j(T) \triangleq \sum_{i=1}^{n0}\sum_{t=1}^{T}X_i^t\Pi_{\{\varphi _j^t=i\}} Sj​(T)≜i=1∑n0​t=1∑T​Xit​Π{φjt​=i}​	累计收益（cumulative reward）
R j ( T ) ≜ E ( ∑ i ≠ i ∗ n 0 ∑ t = 1 T ( X i ∗ t − X i t ) Π { φ j t = i } ) ) R_j(T) \triangleq E\left (\sum_{i \neq i_*}^{n_0} \sum_{t=1}^{T}(X_{i_*}^t-X_i^t) \Pi_{\{\varphi _j^t=i\}}) \right ) Rj​(T)≜E⎝⎛​i​=i∗​∑n0​​t=1∑T​(Xi∗​t​−Xit​)Π{φjt​=i}​)⎠⎞​	损失（regret）

• 每个选择在某一时刻对应的收益是由高斯分布（$\mu ,\nu$）确定的，与玩家无关，每个玩家在同一时刻选择同一个，收益是一样的
• 目标：累积收益的期望值$E(X)$达到最大、损失regret达到最小
• 变量加上标$s$表示自我的，即玩家$j$自己相关的，如$R_j^s(T)$、$S_j^s(T)$、$N_{ij}^s(T)$ S i j s ( T ) ≜ ∑ t = 1 T X i t Π { φ j t = i } R i j s ( T ) = E ( ∑ t = 1 T ( X i ∗ t − X i t ) Π { φ j t = i } ) ) ≤ Δ ˉ E ( ∑ t = 1 T Π { φ j t = i } ) = Δ ˉ E ( N i j s ( T ) ) S_{ij}^s(T) \triangleq \sum_{t=1}^TX_i^t\Pi_{\{\varphi _j^t=i\}} \\ R_{ij}^s(T)= E\left ( \sum_{t=1}^{T}(X_{i_*}^t-X_i^t) \Pi_{\{\varphi _j^t=i\}}) \right ) \leq \bar{\Delta}E \left(\sum_{t=1}^{T} \Pi_{\{\varphi _j^t=i\}} \right)=\bar{\Delta}E \left(N_{ij}^s(T) \right) Sijs​(T)≜t=1∑T​Xit​Π{φjt​=i}​Rijs​(T)=E(t=1∑T​(Xi∗​t​−Xit​)Π{φjt​=i}​))≤ΔˉE(t=1∑T​Π{φjt​=i}​)=ΔˉE(Nijs​(T))其中有$\Delta \le E(X_{i\ast }^r)-E(X_i^r)\le \bar{\Delta }$，即$\bar{\Delta }$是$E(X_{i\ast }^r)-E(X_i^r)$的最大值
• 变量加上标$c$表示邻居的（communication），即除$j$本身以外的邻居，如$R_j^c(T)$、$S_j^c(T)$、$N_{ij}^c(T)$
  如果有多个邻居选择了$i$，则只计一次 S i j c ( T ) ≜ ∑ t = 1 T X i t Π { φ j t ≠ i   &   ϵ i j t = 1 } R i j c ( T ) = E ( ∑ t = 1 T ( X i ∗ t − X i t ) Π { φ j t ≠ i   &   ϵ i j t = 1 } ) ) ≤ Δ ˉ E ( ∑ t = 1 T Π { φ j t ≠ i   &   ϵ i j t = 1 } ) S_{ij}^c(T) \triangleq \sum_{t=1}^TX_i^t\Pi_{\{\varphi _j^t \neq i \, \&\, \epsilon _{ij}^t=1 \}} \\ R_{ij}^c(T)= E\left ( \sum_{t=1}^{T}(X_{i_*}^t-X_i^t) \Pi_{\{\varphi _j^t \neq i \, \&\, \epsilon _{ij}^t=1 \}}) \right ) \leq \bar{\Delta}E \left(\sum_{t=1}^{T} \Pi_{\{\varphi _j^t \neq i \, \&\, \epsilon _{ij}^t=1 \}} \right) Sijc​(T)≜t=1∑T​Xit​Π{φjt​​=i&ϵijt​=1}​Rijc​(T)=E(t=1∑T​(Xi∗​t​−Xit​)Π{φjt​​=i&ϵijt​=1}​))≤ΔˉE(t=1∑T​Π{φjt​​=i&ϵijt​=1}​)

---

UCB算法

进行选择

每个选择的得分由两部分决定，$exploitation$和$exploration$ $$Q_{ij}^t={\hat{X}}_{ij}^t+C_{ij}^t$$ 其中$C_{ij}^t=\sqrt{\frac{{\Psi }_{jk}(t)}{N_{ijk}(t)}}$，${\Psi }_{jk}(t)\approx log(t)$

$exploitation$是玩家$i$对选择$j$的收益的估计值，是$j$和邻居在时间$[1,2...t]$内对于$j$的总收益的平均值$${\hat{X}}_{ij}^t\triangleq \frac{1}{N_{ij}(t)}\left(\sum _{\tau =1}^t{X}_i^{\tau }{ϵ}_{ij}^{\tau }\right)$$

寻找邻居

在时刻$t$，玩家$j$对于选择$i$和另一个玩家$k$的得分定义为$$Q_{ijk}^t={\hat{X}}_{ijk}^t+\sqrt{\frac{{\Psi }_{jk}(t)}{N_{ijk}(t)}}$$其中${\hat{X}}_{ijk}^t$是$j$从$k$处获取的对于选择$i$的收益平均值

• 玩家$j$每个时刻要选择$n_j$（预先定义好的量）个邻居，首先在每个$k$内部，对$j$进行排序，选择一个最大的值作为$k$的得分，之后对$k$进行排序，选择$Top(n_j)$作为本次选择的邻居
  每轮与邻居交换的信息包括邻居的选择和相应的收益
• 随着时间的推移，玩家会趋向于$exploitation$，而选择邻居时，希望选择$exploration$程度更大的玩家

---

部分代码

   self.k = [ (1/((8*self.reward_variance[i])**2)*2) for i in range(self.no_bandits)]

def pick(self):

    Qij_T = [0 for i in range(self.no_bandits)]
    for i in range(self.no_bandits):

        k = self.k[i]
        alpha = 3/(2*k)
        gamma = alpha*log(self.T)
        Qij_T[i] = self.X_ij_T[i] + sqrt(gamma/self.Nij_T[i])
    self.Q = Qij_T
    sorted_choice = argsort(Qij_T)

    m = sorted_choice[-1]
    m_c = 1
    for i in range(1, self.no_bandits):

        if Qij_T[sorted_choice[-(i+1)]] != Qij_T[m]:
            break
        else:
            m_c += 1

    if m_c == 1:  # 只有一个最大值
        index = 1
    else:  # 有多个最大值，随机选择一个
        index = random.randint(1, m_c)
    choice = sorted_choice[-index]
    return choice