Paper-6 精读 Deep Visuomotor Policies (2016 JMLR)

概述

这篇是2016年Journal of Machine Learning Research的期刊Paper：End-to-End Training of Deep Visuomotor Policies。非常完整，特别适合对GPS、Trajectory Optimization、Guided Cost Learning进行整理，形成一个框架。

总的来说，传统方法处理的输入是raw state，这篇期刊的输入是image即observation，处理的是一个POMDP的问题。

一般需要将observation通过state estimation或者perception变成state，然后再用state进行control。End-to-End的意思就是把Perception与Control一起训练了。

文章公式细节有点冗长，看到一半捋不顺，可以直接跳到总结。

标记符号的意义，其中$l(x_t,u_t)$还是改成用cost function的形式即$c(x_t,u_t)$

一、逻辑梳理

1.1 目标

目标是学习一个Visuomotor Policies即$\pi (u_t|o_t)$。就是给定一个Image observation，应该做什么动作。

因此现在参数化的对象是${\pi }_{\theta }(u_t|o_t)$:

$${\pi }_{\theta }(u_t|x_t)=\int {\pi }_{\theta }(u_t|o_t)p(o_t|x_t)d{o}_t$$

但轨迹分布仍然是定义在state上的:

$${\pi }_{\theta }(\tau )=p(x_1)\prod _{t=1}^T{\pi }_{\theta }(u_t|x_t)p(x_{t+1}|x_t,u_t)$$

因此目标为寻找一个参数$\theta$使损失最小：

$$E_{{\pi }_{\theta }(\tau )}[\sum _{t=1}^{T}c(x_t,u_t)]$$

未知的对象有两个，一个是Dynamics即$p(x_{t+1}|x_t,u_t)$，一个是observation distribution即$p(o_t|x_t)$。

参数化的对象只有一个：${\pi }_{\theta }(u_t|o_t)$

因此用下面的网络架构建模${\pi }_{\theta }(u_t|o_t)$，并确定形式${\pi }_{\theta }(u_t|o_t)=N(\mu (o_t),\Sigma (o_t))$

1.2 监督信息

确定了目标${\pi }_{\theta }(u_t|o_t)$，现在要确定supervision从哪来？就是说给定$o_t$，要做哪个动作$u_t$？

Supervision来自RL目标解出来的动作即$p_i(u_t|x_t)$，系统的状态$x_t$是已知的。（同一时刻，记录$(x_t,o_t)$，然后RL训练出一个$p_i(u_t|x_t)$给$o_t$提供supervision）

因此最主要的问题变为：

1. 怎么训练一个linear-Gaussian controllers $p_i(u_t|x_t)$，目标是什么？
2. 训练$\pi (u_t|o_t)$的目标是什么？
3. 整体训练过程是怎样的？

1.3 训练框架

1. Unknown Dynamics：$p(x_{t+1}|x_t,u_t)$
2. Linear-Gaussian Controllers ：$p_i(u_t|x_t)$
   $p_i(u_t|x_t)$中的$i$是指从不同initial states开始的Policy
3. Trajectory distribution：
   $$p_i(\tau )=p_i(x_1)\prod _{t=1}^T{p}_i(u_t|x_t)p(x_{t+1}|x_t,u_t)$$

因此从Outer Loop最左侧的循环是用传统方法根据目标$L_p$将Controllers训练好的，而Inner Loop则是从Controllers那得到Guided Samples根据目标$L_{\theta }$训练好，得到${\pi }_{\theta }(u_t|o_t)$.

4. Policy Distribution:
   $${\pi }_{\theta }(\tau )=p(x_1)\prod _{t=1}^T{\pi }_{\theta }(u_t|x_t)p(x_{t+1}|x_t,u_t)$$

因此Trajectory Distribution与Policy Distribution的初始状态是不一样的，要想Policy最后学到初始状态的泛化性，就得迭代Policy，使其与Trajectory distribution的state distribution相同，就有了Inner Loop中$L_p$与$L_{\theta }$交互优化的那一部分了。

流程清楚了，下面请留意两个未知对象的处理：
一个是Dynamics即$p(x_{t+1}|x_t,u_t)$，一个是observation distribution即$p(o_t|x_t)$

二、Dive Into Details

2.1 整体的目标推导

先看看要学习对象${\pi }_{\theta }(u_t|o_t)$的目标应该是什么？
$${\pi }_{\theta }(u_t|x_t)=\int {\pi }_{\theta }(u_t|o_t)p(o_t|x_t)d{o}_t$$

因此我们看看${\pi }_{\theta }(u_t|x_t)$：
$${\pi }_{\theta }(\tau )=p(x_1)\prod _{t=1}^T{\pi }_{\theta }(u_t|x_t)p(x_{t+1}|x_t,u_t)$$

因此优化这个目标就能学到${\pi }_{\theta }(u_t|x_t)$：
$$E_{{\pi }_{\theta }(\tau )}[c(\tau )]$$

这个经典的RL问题呀，当然可以采用VPG、TRPO、PPO一类的On-Policy算法，抑或是DDPG、TD3、SAC求解，但需要的Samples好像有点多，一般都是在虚拟环境上训练再在现实环境中transfer的，因此采用经典的GPS算法进行Guided，这个Guided的对象为$p(u_t|x_t)$目标变为：
$$\begin{gathered} \underset{p,{\pi }_{\theta }}{\min }{E}_{p(\tau )}[c(\tau )] \\ s.tp(x_t)p(u_t|x_t)=p(x_t){\pi }_{\theta }(u_t|x_t) \end{gathered}$$

现在样本的来源从${\pi }_{\theta }(\tau )$变成$p(\tau )$，然后加个约束控制两者轨迹分布相同。

$${\pi }_{\theta }(\tau )=p(x_1)\prod _{t=1}^T{\pi }_{\theta }(u_t|x_t)p(x_{t+1}|x_t,u_t)$$$$p(\tau )=p(x_1)\prod _{t=1}^{T}p(u_t|x_t)p(x_{t+1}|x_t,u_t)$$

（环境Unkown Dynamics在转换成轨迹分布匹配优化上两者相同，因此只需要约束对应的策略相同)

接下来着手优化求解这个目标。

2.2 目标优化求解

优化的算法采用ADMM的变体BADMM，简述一下：

2.2.1 增广拉格朗日ALM

优化问题：
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.tAx=b \end{gathered}$$

原问题：
$$\underset{x}{\min }\underset{\lambda }{\max }L(x,\lambda )=f(x)+{\lambda }^T(Ax-b)+\frac{p}{2}||Ax-b|{|}^2$$

对偶问题：
$$\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )=f(x)+{\lambda }^T(Ax-b)+\frac{p}{2}||Ax-b|{|}^2$$

迭代优化求解：
$$\begin{array}{rl}& step1:x^{k+1}=\underset{x}{\mathrm{argmin}}L(x,{\lambda }^k)\\ & step2:{\lambda }^{k+1}=\mathrm{argmax}L(x^{k+1},\lambda )\end{array}$$

多出来的$\frac{p}{2}||Ax-b|{|}^2$是为了让Lagrange函数更凸。

2.2.2 ADMM

优化问题：
$$\begin{gathered} \underset{x,z}{\min }f(x)+g(z) \\ s.tAx+Bz=C \end{gathered}$$

原问题：
$$\underset{x,z}{\min }\underset{\lambda }{\max }L(x,z,\lambda )=f(x)+g(z)+{\lambda }^T(Ax+Bz-C)+\frac{p}{2}||Ax+Bz-C|{|}^2$$

对偶问题：
$$\underset{\lambda }{\max }\underset{x,z}{\min }L(x,z,\lambda )=f(x)+g(z)+{\lambda }^T(Ax+Bz-C)+\frac{p}{2}||Ax+Bz-C|{|}^2$$

迭代优化求解：
$$\begin{array}{rl}& step1:x^{k+1}=\underset{x}{\mathrm{argmin}}L(x,z^k,{\lambda }^k)\\ & step2:z^{k+1}=\mathrm{argmin}L(x^{k+1},z,{\lambda }^k)\\ & step3:{\lambda }^{k+1}=\mathrm{argmax}L(x^{k+1},z^{k+1},\lambda )\end{array}$$

2.2.3 BADMM

然后BADMM就是在ADMM上加一个Bregman divergence between the constrained variables x与z，就有类似于在ALM上加的那个二次惩罚项，只不过这里加的是一个KL Divergence。

优化问题：
$$\begin{gathered} \underset{x,z}{\min }f(x)+g(z) \\ s.tAx+Bz=C \end{gathered}$$

对偶问题:
$$\underset{x}{\min }L(x,z,\lambda )=f(x)+g(z)+{\lambda }^T(Ax+Bz-C)+pKL(x||z)$$

$$\underset{z}{\min }L(z,x,\lambda )=f(x)+g(z)+{\lambda }^T(Ax+Bz-C)+pKL(z||x)$$

$$\underset{\lambda }{\max }L(\lambda ,x,z)=f(x)+g(z)+{\lambda }^T(Ax+Bz-C)$$

迭代优化过程：

优化过程直接贴BADMM论文的图，这不是重点= =。其中$y_t={\lambda }_t$，B被选成了KL。

2.2.2 BADMM对目标进行优化

(x当作$\theta$, z当作p)
优化问题:
$$\begin{gathered} \underset{p,{\pi }_{\theta }}{\min }{E}_{p(\tau )}[c(\tau )] \\ s.tp(x_t)p(u_t|x_t)=p(x_t){\pi }_{\theta }(u_t|x_t) \end{gathered}$$

将轨迹表达的优化问题变成时间表达：(等价表达，但需要思考一下，体会一下🤔)
$$\begin{gathered} \underset{p,\theta }{\min }\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)] \\ s.tp(x_t)p(u_t|x_t)=p(x_t){\pi }_{\theta }(u_t|x_t) \end{gathered}$$

写成无约束问题需要写成两个，因为KL Divergence是不对称性的呀！
第一个是优化$\theta$的：
$$L_{\theta }(\theta ,p)=\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]+{\lambda }_t[p(x_t){\pi }_{\theta }(u_t|x_t)-p(x_t,u_t)]+v_t{\varphi }_t^{\theta }(\theta ,p)$$

第二个是优化$p$的：$$L_p(\theta ,p)=\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]+{\lambda }_t[p(x_t){\pi }_{\theta }(u_t|x_t)-p(x_t,u_t)]+v_t{\varphi }_t^p(\theta ,p)$$

$$\begin{array}{rl}& {\varphi }_t^{\theta }(\theta ,p)=E_{p(x_t)}[D_{KL}(p(u_t|x_t)||{\pi }_{\theta }(u_t|x_t))]\\ & {\varphi }_t^p(\theta ,p)=E_{p(x_t)}[D_{KL}({\pi }_{\theta }(u_t|x_t)||p(u_t|x_t))]\end{array}$$

然后将与求解参数无关的term都扔了，如下更新：
$$\begin{array}{rl}& \theta \leftarrow \underset{\theta }{\mathrm{argmin}}\sum _{t=1}^{T}p(x_t){\pi }_{\theta }(u_t|x_t){\lambda }_t+v_t{\varphi }_t^p(\theta ,p)\\ & p\leftarrow \underset{p}{\mathrm{argmin}}\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]-{\lambda }_{t}p(x_t,u_t)+v_t{\varphi }_t^p(\theta ,p)\\ & {\lambda }_t\leftarrow {\lambda }_t+\alpha v_t({\pi }_{\theta }(u_t|x_t)p(x_t)-p(u_t|x_t)p(x_t)\end{array}$$其中$v_t$以启发式进行设置(具体法则看附录)，或者如论文中写成期望的形式.
注意$l(x_t,u_t)=c(x_t,u_t),{\lambda }_t={\lambda }_{x_t,u_t}$

2.2.3 实际考虑

目标有了，整体框架的优化方法有了，那就开始涉及到具体实现时的计算问题了。

第一个问题：$p(x_t)p(u_t|x_t)=p(x_t){\pi }_{\theta }(u_t|x_t)$这么多个与时间有关的Constraints怎么表示？
答：只能近似表示，采用expected action的方式并简化为first moment进行表达，即$E_{(x_t)p(u_t|x_t)}[u_t]=E_{p(x_t){\pi }_{\theta }(u_t|x_t)}[u_t]$然后优化的目标变为：

两个概率相等的约束 用 两个期望动作值相等的约束来近似（建模中的精髓呀！非常值得学习！）
first moment的意思是期望动作是当前时刻，当然还可以是与$u_{t+1}$时刻有关（还有坑呀！）

第二个问题：第二个关于$p$的目标，$p(\tau )$是不知道的，应该怎么近似这个轨迹分布呢？

答：用GMM，多个$p_i(u_t|x_t)$来近似这个$p(u_t|x_t)$，每个$p_i(u_t|x_t)$可以通过Trajectory Optimization进行学习。（什么？用GMM来近似？VAE行不行？坑来了，不知有无后人占坑，先mark～）

大家还记得整体流程吧。

将$L_{\theta }$记作：

$$\underset{\theta }{\mathrm{argmin}}{L}_{\theta }=\underset{\theta }{\mathrm{argmin}}\sum _{t=1}^T{E}_{p(x_t){\pi }_{\theta }(u_t|x_t)}[u_t^T{\lambda }_{ut}]+v_t{\varphi }_t^{\theta }(\theta ,p)$$
$L_p$记作：$$\underset{p}{\mathrm{argmin}}{L}_p=\underset{p}{\mathrm{argmin}}\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)-u_t^T{\lambda }_{ut}]+v_t{\varphi }_t^p(p,\theta )$$那么剩下的就是在Unknown dynamics下学习$p_i(u_t|x_t)$了，并且细化$L_{\theta }$的具体计算。

2.3 Trajectory Optimization under Unknown Dynamics

$p(\tau )$称为guiding distributions，$p_i(\tau )$为不同initial states的轨迹分布，在Policy的Objective中指导${\pi }_{\theta }(u_t|x_t)$的学习：
$$p(\tau )=\sum _i{p}_i(\tau )=\sum _i(p_i(x_1)\prod _{t=1}^{T}p(u_t|x_t)p(x_{t+1}|x_t,u_t))$$

然后赶紧开始建模对单个$p_i(\tau )$：
$$\begin{gathered} p_i(u_t|x_t)=N(K_t{x}_t+k_t,C_t) \\ {p}_i(x_{t+1}|x_t,u_t)=N(f_{x_t}{x}_t+f_{u_t}{u}_t+f_{ct},F_t) \end{gathered}$$

线性高斯的形式选定了，就得看setting，然后选方法对参数进行Learning了。现在问题默认是Stochastic Unknown Dynamics，因此传统方法的Trajectory Optimization都是要fit一个dynamics model，即$p_i(x_{t+1}|x_t,u_t)$。

因为之前的Paper精读中介绍过，传统方法DDP一类的如iLQG、iLQR什么的，都可以从几个专家数据中拟合一个局部、泛化性能差的Linear-Gaussian-Controller，因此迭代起来学习dynamics model的时候就得限制在“局部”，不能走太远。

定义$\hat{p}(\tau )$为上一次迭代的trajectory distribution，优化问题为：
$$\begin{gathered} \underset{p}{\min }{L}_p(p,\theta ) \\ s.t{D}_{KL}(p(\tau )||\hat{p}(\tau ))\le ϵ \end{gathered}$$

这个称作：dynamics fitting procedure。

有了一个dynamics model后，我们才能optimize trajectory distribution呀～

$L_p(p,\theta )$的形式:

$$L_p(p,\theta )=\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)-u_t^T{\lambda }_{ut}]+v_t{\varphi }_t^p(\theta ,p)$$

$${\varphi }_t^p(\theta ,p)=E_{p(x_t)}[D_{KL}({\pi }_{\theta }(u_t|x_t)||p(u_t|x_t))]$$

$${\pi }_{\theta }(u_t|x_t)=\int {\pi }_{\theta }(u_t|o_t)p(o_t|x_t)d{o}_t$$

刚才拟合了个dynamics model，现在需要处理目标中的$D_{KL}({\pi }_{\theta }(u_t|x_t)||p(u_t|x_t))$的计算问题，这个涉及到${\pi }_{\theta }(u_t|x_t)$，从而涉及到${\pi }_{\theta }(u_t|o_t)$，然后KL的计算有一个Fisher Information Matrix的近似，这个就不介绍了，之前文章说过，这里估计这个Fisher信息矩阵使用的训练数据为:（问题的背景就是知道$x_t,o_t$）
{ x t i , E π θ ( u t ∣ o t i ) [ u t ] } i = 1 N \{x_t^i,E_{\pi_\theta(u_t|o_t^i)}[u_t]\}_{i=1}^N {xti​,Eπθ​(ut​∣oti​)​[ut​]}i=1N​

现在KL可以近似估计得到，dynamics model经过拟合得到，然后直接用iLQG处理Constraints，从而得出一个$p_i(\tau )$。

另一种解法就是cost function二阶近似，linear-Gaussian Dynamics，从而跑LQR-Framework的那个trajectory optimization的过程。

现在我们得到了$p(\tau )$，即guiding distributions.完成了第二步关于p的更新：

$$\underset{p}{\mathrm{argmin}}\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)-u_t^T{\lambda }_{ut}]+v_t{\varphi }_t^p(p,\theta )$$

2.4 Supervised Policy Optimization

记得建模对象${\pi }_{\theta }(u_t|o_t)=N(\mu (o_t),\Sigma (o_t))$.

$$L_{\theta }(\theta ,p)=\sum _{t=1}^T{E}_{p(x_t){\pi }_{\theta }(u_t|x_t)}[u_t^T{\lambda }_{ut}]+v_t{\varphi }_t^{\theta }(\theta ,p)$$

$${\varphi }_t^{\theta }(\theta ,p)=E_{p(x_t)}[D_{KL}(p(u_t|x_t)||{\pi }_{\theta }(u_t|x_t)]$$

然后将Trajectory Optimization学习到的$p_i(u_t|x_t)=N(u_{ti}^p,C_{ti})$与建模对象${\pi }_{\theta }(u_t|o_t)=N(\mu (o_t),\Sigma (o_t))$代入到这里，再从$x_t,o_t,u_t$的数据中采样N个样本进行近似，得到：
$$\begin{gathered} L_{\theta }(\theta ,p)=\frac{1}{2N}\sum _{i=1}^N\sum _{t=1}^T{E}_{p_i(x_t,o_t)}[tr[C_{ti}^{-1}{\Sigma }^{\pi }(o_t)]-\log |{\Sigma }^{\pi }(o_t)| \\ +({\mu }^{\pi }(o_t)-{\mu }_{ti}^p(x_t))C_{ti}^{-1}({\mu }^{\pi }(o_t-{\mu }_{ti}^p)(x_t)+2{\lambda }_{ut}^T{\mu }^{\pi }(o_t)] \end{gathered}$$

公式很吓人：简单得说就是使建模对象${\pi }_{\theta }(u_t|o_t)$的输出均值$\mu (o_t)$与Guiding Distributions的输出均值${\mu }_{ti}^p(x_t)$的均值误差最小，让Policy跟着Guiding Distribution走，然后剩下的项是Penalty，如果跟trajectory distribution相差很远，就按比例进行惩罚。

三、总结

文章的整个问题背景是从一个经典的RL目标出发：

$$E_{{\pi }_{\theta }(\tau )}[\sum _{t=1}^{T}c(x_t,u_t)]$$

$${\pi }_{\theta }(\tau )=p(x_1)\prod _{t=1}^T{\pi }_{\theta }(u_t|x_t)p(x_{t+1}|x_t,u_t)$$

robot的状态是知道的，因为用Actor-Critic类的解法需要大量样本，真实robot顶不住，从Guided Policy Search角度出发引入专家$p(u_t|x_t)$。因此有一系列关于时间点的约束：

$$\begin{gathered} \underset{p,{\pi }_{\theta }}{\min }{E}_{p(\tau )}[c(\tau )] \\ s.tp(x_t)p(u_t|x_t)=p(x_t){\pi }_{\theta }(u_t|x_t) \end{gathered}$$

而且Paper的一大卖点是可以通过Camera 的高维复杂的image observation进行Control，而不是几十维的状态state，因此有

$${\pi }_{\theta }(u_t|x_t)=\int {\pi }_{\theta }(u_t|o_t)p(o_t|x_t)d{o}_t$$

这个过程可以通过$x_t,o_t,u_t$的数据进行MC估计。

表示一堆时间约束的方式，就是用了动作的期望值来表示概率相等

利用BADMM的优化框架：
$$\begin{gathered} \underset{x,z}{\min }f(x)+g(z) \\ s.tAx+Bz=C \end{gathered}$$
第一个是优化$\theta$的：
$$L_{\theta }(\theta ,p)=\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]+{\lambda }_t[p(x_t){\pi }_{\theta }(u_t|x_t)-p(x_t,u_t)]+v_t{\varphi }_t^{\theta }(\theta ,p)$$

第二个是优化$p$的：$$L_p(\theta ,p)=\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]+{\lambda }_t[p(x_t){\pi }_{\theta }(u_t|x_t)-p(x_t,u_t)]+v_t{\varphi }_t^p(\theta ,p)$$

$$\begin{array}{rl}& {\varphi }_t^{\theta }(\theta ,p)=E_{p(x_t)}[D_{KL}(p(u_t|x_t)||{\pi }_{\theta }(u_t|x_t))]\\ & {\varphi }_t^p(\theta ,p)=E_{p(x_t)}[D_{KL}({\pi }_{\theta }(u_t|x_t)||p(u_t|x_t))]\end{array}$$

然后想办法近似计算KL散度，以及Trajectory Optimization迭代得到Guiding Distribution。

缺点就是state需要完全知道，然后用Visual Observation进行Control。

值得学习的点：整个问题的建模过程中优化过多约束条件的思想与近似计算的方法。

一句话总结文章：在State完全知道、UnKnown Dynamics的情况下，利用Guided Policy Search将问题扩展到High-Dimensions Complex Observation进行Visual Control。具体Train起来还有各种Pre-Train以及复杂的Initialization。