强化学习douzero模型伪代码

伪代码

中文逻辑

算法1 Douzero的Actor过程

• Input: 对于每一次entry,共享buffer$B_L,B_U,B_D$有B个entries,size为$S$,探索超参数为$ϵ$,折扣为$\gamma$
• 初始化本地Q-networks $Q_L,Q_U,Q_D$,本地buffers$D_L,D_U,D_D$
• for 迭代=1,2,…,T do
  • 用learner过程异步化$Q_L,Q_U,Q_D$
  • for t = 1,2,…,T do #生成一个回合
    • Q $\leftarrow$ 基于一个位置, $Q_L,Q_U,Q_D$其中的一个
    • $a_t\leftarrow \{\begin{array}{l}argma{x}_{a}Q(s_t,a),withprob(1-ϵ)\\ 随机动作,withprobϵ\end{array}$
    • 执行$a_t$,观察到$s_{t+1}$和奖励$r_t$
    • 存 { s t , a t , r t } \{s_t,a_t,r_t \} {st​,at​,rt​}进相应的$D_L,D_U,D_D$
  • end for
  • for t=T-1,T-2,…,1 do #获得累计奖励
    • $r_t\leftarrow r_t+\gamma r_{t+1}$然后更新$D_L,D_U,D_D$中的$r_t$
  • end for
  • for p ∈ { L , U , D } p\in \{L,U,D \} p∈{L,U,D}do #多线程优化
    • if $D_p.length\ge L$ then
      • 请求并等待$B_p$的一个空entry
      • 从$D_p$中移动大小为$L$的 { s t , a t , r t } \{s_t,a_t,r_t\} {st​,at​,rt​}到$B_p$
    • end if
  • end for
• end for

算法2 Douzero的Learner过程

• Input: 对于每一次entry,共享buffer$B_L,B_U,B_D$有B个entries,size为$S$, batch size$M$,学习率为$\psi$
• 初始化全局Q-networks $Q_L^g,Q_U^g,Q_D^g$
• for 迭代=1,2,… 知道收敛 do
  • for p ∈ { L , U , D } p\in \{L,U,D \} p∈{L,U,D} do #多线程优化
    • if $B_p$中的full entries的数目 $\ge M$ then
      • 从$B_p$中抽样一个 M × S 实 例 { s t , a t , r t } M\times S实例\{s_t,a_t,r_t\} M×S实例{st​,at​,rt​}的一个batch然后释放entris
      • 用MSE loss和学习率$\psi$更新$Q_p^g$
    • end if
  • end for
• end for