Self-Consistent Trajectory Autoencoder读书笔记

Introduction

层次强化学习(Hierarchical reinforcement learning, HRL)需要学习low-level和high-level的policy。low-level policy的训练往往需要hand-specification或者subgoal information。本文提出一种基于VAE的轨迹自编码方法(Self-consistent trajectoy autoencoder, SeCTAR)，同时学习一个state doceder和policy decoder, 从而利用latent space控制low-level policy

SeCTAR

SeCTAR包含3个部分：trajectory-level encoder $q_{\varphi }(z|\tau )$, state decoder $p_{{\theta }_{SD}}(\tau |z)$和 policy decoder$p_{{\theta }_{PD}}(a|s,z)$。目标是最大化$logp(\tau )$的同时，使得state decoder 和 policy decoder得到的轨迹尽可能接近，这样就能实现在state space上进行plan，然后生成能够得到相应state trajectory的actions。这个objective可以写成下面的式子
$$\max \log p(\tau )$$
subject to $$E_{q_{\varphi }}[D_{KL}(p_{{\theta }_{PD}}(\tau |z)||p_{{\theta }_{SD}}(\tau |z))]=0$$
将constraint转化为penalty并利用ELBO估计$\log p$得到
$$\begin{gathered} E_{q_{\varphi }}[\log p_{{\theta }_{SD}}(\tau |z)]-D_{KL}(q_{\varphi }(z|\tau )||p(z))+ \\ \lambda [E_{q_{\varphi },p_{{\theta }_{PD}}(\tau |z)}[\log p_{{\theta }_{SD}}(\tau |z)]+H(p_{{\theta }_{PD}}(\tau |z))] \end{gathered}$$
trajectory encoder和state decoder就是一个关于trajectory的VAE，而policy decoder则要求通过该policy生成的trajectory和state decoder的接近。policy decoder可以用state decoder的log likelyhood作为reward，并加上正则项，进行传统的RL训练。用trajectory进行behavior cloning能提供较好的初始化。

Hierarchical Control

SeCTAR训练完之后，根据一个latent variable $z$就可以解码得到一定步长的trajectory，之后利用random sampling和MPC（model predictive control）的方法选择z，然后解码出相应的policy，就可以进行control。这里可以类比latent space为搜索空间，state decoder为dynamic。假设总步长H，每次解码步长T，则搜索H/T个不同的$z$作为high-level policy，而low-level policy由policy decoder得到。

Exploration for SeCTAR

在训练SeCTAR时，trajectory如果固定不变，那么decoder覆盖的范围有限，不能很好的进行探索。为此，引入探索策略${\pi }_e$,其优化目标为最大化trajectory的熵即$-E_{p_{\theta }}(\tau )[\log p_{\theta }(\tau )]$,而$-p_{\theta }(\tau )$可以用ELBO估计，作为reward对$\theta$进行更新即可。每次从MPC中经历过的某个state出发，用${\pi }_e$采样，重新训练SeCTAR,迭代进行。