ReplayBuffer: Model-augmented Prioritized Experience Replay

ICLR 2022 Poster
paper
一篇关于RelayBuffer中sample ratio的文章，可以结合到model-free以及model-based的方法中提升算法的sample efficiency。

Intro

以往基于优先回访机制的Buffer均是基于Q函数的TD-erro展开，而这所能捕获到的样本信息还是较少。作者观察到奖励模型、状态转移模型以及Q函数都是在同一个Domian中进行特征表达(输入均为$S,A$)，因此在TD-error的基准上，加上奖励模型以及状态转移模型的model-erro，构造一种新的采样频率计算方法MaPER。

Method

对于从Buffer中sample 出的N个数据${\mathcal{B}}_i=\left(\begin{array}{c}{s}_{\kappa (i)},a_{\kappa (i)},r_{\kappa (i)},s_{\kappa (i)+1}\end{array}\right)$首先TD-erro采用Q bellman迭代误差, 其中使用奖励模型代替环境给出的奖励:
$$\begin{gathered} L_{{\mathcal{Q}}_{\theta }}={\mathbb{E}}_{(s_t,a_t,s_{t+1})\sim \mathcal{B}}\left[\Vert {\delta }_t{\mathcal{Q}}_{\theta }^{{\pi }_{\Theta }}(s_t,a_t,s_{t+1}){\Vert }_{\mathrm{MSE}}\right], \\ \delta {\mathcal{Q}}_{\theta }^{{\pi }_{\Theta }}(s_t,a_t,s_{t+1})={\mathcal{Q}}_{\theta }(s_t,a_t)-\left({\mathcal{R}}_{\theta }(s_t,a_t)+\gamma {\mathbb{E}}_{a^{\prime }\sim {\pi }_{\Theta }(\cdot ,s_{t+1})}\left[{\mathcal{Q}}_{\theta }(s_{t+1},a^{\prime })\right]\right). \end{gathered}$$

model-erro的一部分是奖励模型误差
$$\begin{gathered} L_{{\mathcal{R}}_{\theta }}={\mathbb{E}}_{(s_t,a_t,r_t,s_{t+1})\sim \mathcal{B}}\left[\Vert {\delta }_t{\mathcal{R}}_{\theta }{\Vert }_{\mathrm{MSE}}\right] \\ {\delta }_t{\mathcal{R}}_{\theta }={\mathcal{R}}_{\theta }(s_t,a_t)-r_t \end{gathered}$$
另一部分是

状态转移模型误差
$$\begin{gathered} L_{\mathcal{T}\theta }={\mathbb{E}}_{(s_t,a_t,r_t,s_{t+1})\sim \mathcal{B}}\left[\Vert {\delta }_t{\mathcal{T}}_{\theta }{\Vert }_{\mathrm{MSE}}\right] \\ {\delta }_t{\mathcal{T}}_{\theta }={\mathcal{T}}_{\theta }(s_t,a_t)-s_{t+1} \end{gathered}$$

三个误差加权融合得到
$$L_{{\mathcal{C}}_{\theta }}={\xi }_1{L}_{{\mathcal{Q}}_{\theta }}+{\xi }_2{L}_{{\mathcal{R}}_{\theta }}+{\xi }_3{L}_{{\mathcal{T}}_{\theta }}$$
对模型参数的训练通过最小化联合损失函数，同时三项均方误差构造每一个被采样样本的权重为：
$$\begin{gathered} {\sigma }_i={\xi }_1\Vert {\delta }_{\kappa (i)}{\mathcal{Q}}_{\theta }^{{\pi }_{\Theta }}{\Vert }_{\mathrm{MSE}}+{\xi }_2\Vert {\delta }_{\kappa (i)}{\mathcal{R}}_{\theta }{\Vert }_{\mathrm{MSE}}+{\xi }_3\Vert {\delta }_{\kappa (i)}{\mathcal{T}}_{\theta }{\Vert }_{\mathrm{MSE}} \\ {p}_i=\frac{{\sigma }_i^{\alpha }}{{\sum }_{k\in [|\mathcal{B}|]}{\sigma }_k^{\alpha }},w_i={\left(\frac{1}{|\mathcal{B}|p_i}\right)}^{\beta } \end{gathered}$$

伪代码