Paper-3 精读 Learn NN Policies with GPS under Unknown Dynamics(2014 NIPS)

概述与定位

建议与GPS一起阅读，两者本质上相同，只是setting从Known Dynamics变成Unknown Dynamics。
这一篇文章与上一篇的GPS非常像，因为GPS理解有点难，附一下参考的资源链接
https://michaelrzhang.github.io/model-based-rl
https://michaelrzhang.github.io/gps
https://people.eecs.berkeley.edu/~pabbeel/cs287-fa15/slides/lecture20-guided-policy-search.pdf（强推这个，讲的很清楚了）

Paper 链接：https://dl.acm.org/doi/10.5555/2968826.2968946

一、GPS简略回顾

可以从GPS的训练可以看出呀，它需要一个known dynamics！GPS可以看成是将一堆专家数据得到的局部controllers，跑dynamics model得到比原有专家数据更多的trajectories，然后把这些trajectories变成一个experssive controller即${\pi }_{\theta }$神经网络了啦～

然后，这篇文章就是将Guied Policy Search与Trajectory Optimization结合，并在Unknown Dynamics的Setting下，优化一个global expressive的NN policy

二、GPS + Trajectory Optimization的基础知识

2.1 GPS

注：$x_t,u_t$分别表示状态与动作。
我们想要的是一个全局的policy即${\pi }_{\theta }(u_t|x_t)$，优化目标为$$E_{{\pi }_{\theta }}[\sum _{t=1}^{T}c(x_t,u_t)]=E_{{\pi }_{\theta }(\tau )}[c(\tau )]$$

对dynamics model即$f(x_t,u_t)$进行一阶线性近似，有：$$f_{x_t}{x}_t+f_{u_t}{u}_t$$然后当作均值，放进Gaussian里称为local linear-Gaussian approximation to the dynamics即：
$$N(f_{x_t}{x}_t+f_{u_t}{u}_t,F_t)$$

然后对cost function二阶近似，结合上面一阶近似的local linear-Gaussian dynamics model，进行优化得到一个linear controller：
$$g(x_t)={\hat{u}}_t+k_t+K_t(x_t-{\hat{x}}_t)$$其中${\hat{x}}_t,{\hat{u}}_t$表示current trajectory的states与actions。
同样地，放进高斯的均值中，得到 linear Gaussian controller：
$$p(u_t|x_t)=N({\bar{u}}_t+k_t+K_t(x_t-{\bar{x}}_t),Q_{u_t,u_t}^{-1})$$
其中${\bar{u}}_t,{\bar{x}}_t$来自用$g(x_t)$与$f_{x_t}{x}_t+f_{u_t}{u}_t$解出来的值。

换成trajectory的说法，这个弄出来的linear-Gaussian controller等同于解下面优化问题：
$$\begin{gathered} p(\tau )=\underset{p(\tau )}{\mathrm{argmin}}{E}_p[c(\tau )]-H(p(\tau )) \\ s.tp(x_{t+1}|x_t,u_t)=N(f_{x_t}{x}_t+f_{u_t}{u}_t,F_t) \end{gathered}$$

在一阶线性高斯的dynamics的约束下，优化这个带entropy term的轨迹目标，就可以得到linear controller了即$p(u_t|x_t)$

有一个点必须得关注：
对于优化问题的表述有两种，一种是根据policy的表述，一种是根据轨迹trajectory的表述，容易混淆。
本质上，trajectory 就是一个policy在dynamics下rollout形成的，因此上面就是说，在dynamics是由一阶线性高斯dynamicsmodel近似时，对这个maximum enrtopy objective的轨迹表达进行轨迹优化，得到的policy就是在这个policy表述的目标身上$E_{{\pi }_{\theta }}[{\sum }_{t=1}^{T}c(x_t,u_t)]$进行优化得到的policy。

2.2 Trajectory Optimization

正常的已知dynamics model后的轨迹优化步骤如下：

1. Fits local time-varying linear dynamics models即$N(f_{x_t}{x}_t+f_{u_t}{u}_t,F_t)$
2. 用上面的model来optimize a time-varying linear-Gaussian Controller即$g(x_t)={\hat{u}}_t+k_t+K_t(x_t-{\hat{x}}_t)$即解一个优化目标

然后在Unknown Dynamics的轨迹优化步骤如下：

1. 初始化一个linear-Gaussian controller $p(u_t|x_t)$，然后在Unknown Dynamics下收集一些trajectories即 { ( x t , u t , x t + 1 ) } \{(x_t,u_t,x_{t+1})\} {(xt​,ut​,xt+1​)}
2. 利用这些trajectories去估计一个linear-Gaussian dynamics Model
3. 然后用估计的dynamics model以及Objective与Constrain解出一个新的linear-Gaussian controller
4. 迭代这个过程，得到一个较优的linear-Gaussian Controller

公式表达一下Unknown Dynamics的第三步：
$$\begin{gathered} \underset{p(\tau )}{\min }{E}_p[c(\tau )] \\ s.t{D}_{KL}(p(\tau )||\hat{p}(\tau ))\le ϵ \end{gathered}$$

（此处使用了轨迹的表述，一个轨迹 = dynamics(fit拟合得到) + 一个待求的policy/controller）

之前在GPS中已经说过有Dual Gradient Desent去求解这个问题了，回顾一下：
原问题变为：

$$\underset{p}{\min }\underset{\lambda }{\max }\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]+\lambda (D_{KL}(p(\tau )||\bar{p}(\tau ))-ϵ)$$

对偶问题变为：

$$\underset{\lambda }{\max }\underset{p}{\min }\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)]+\lambda (D_{KL}(p(\tau )||\bar{p}(\tau ))-ϵ)$$

然后固定$\lambda$优化内项：
$$\begin{array}{rl}& \underset{p}{\min }\sum _{t=1}^T{E}_{p(x_t,u_t)}[c(x_t,u_t)-\lambda log\bar{p}(u_t|x_t)-\lambda H(p(u_t|x_t))]-\lambda ϵ\\ & =\underset{p}{\min }\sum _{t=1}^T{E}_{p(x_t,u_t)}[\frac{1}{\lambda }c(x_t,u_t)-log\bar{p}(u_t|x_t)-H(p(u_t|x_t))]-ϵ\\ & =\underset{p}{\min }\sum _{t=1}^T{E}_{p(x_t,u_t)}[\bar{c}(x_t,u_t)-H(p(u_t|x_t))]-ϵ\end{array}$$对这个Objective 跑一个iLQR，得到一个新的controller policy $p^{\ast }(u_t|x_t)$

然后将$p^{\ast }(u_t|x_t)$代入目标，优化外项$\lambda$：
$$\lambda \leftarrow +\alpha (D_{KL}(p(\tau )||\bar{p}(\tau ))-ϵ)$$

三、算法流程

这是算法的示意图，分为Trajectory Optimization与GPS两部分：

其中Trajectory Optimization的部分为：

GPS的部分最为关键是那个监督学习的Global Network的Objective：

最后算法流程如下，就是多了一个Global Policy Network来做监督学习。

四、总结

GPS是在Known Dynamics且Dyanmics是很复杂的情况进行学习的，因此controller的更新不需要迭代。
本文是GPS + Trajectory Optimization在Unknown Dynamics下进行学习的，因此controller的更新需要迭代。
其余关于Global Policy Network的学习流程相差无几，就是Objective不一样。

一句话总结：对于Unknown Dynamics，对dynamics model进行迭代来获得一个比较好的controller（Trajectory Optimization），再设定Objective进行Guided Policy Search获得一个Global Expressive的Policy