Offline：Uncertainty-Aware Model-Based Offline Reinforcement Learning for Automated Driving

Machine Learning for Autonomous Driving Workshop at the 35th Conference on Neural Information Processing
Systems (NeurIPS 2021)
IEEE RAL 2023
paper

Intro

提出Planning-based的基于模型的离线强化学习算法用于自动驾驶。

Method

dynamic model

采用基于条件变分自编密码器CVAE对随机模型进行建模，并最小化ELBO优化模型参数
$$\begin{array}{rl}\mathcal{L}({\mathbf{s}}_t,{\mathbf{s}}_{t+1},{\mathbf{a}}_t,r_t)& =||{\mathbf{s}}_{t+1}-f_{\mathrm{m},\mathrm{s},\mathbf{\theta }}({\mathbf{s}}_t,{\mathbf{a}}_t,{\mathbf{z}}_t)|{|}_2^2\\ & +||r_t-f_{\mathrm{m},\mathrm{r},\mathbf{\theta }}({\mathbf{s}}_t,{\mathbf{a}}_t,{\mathbf{z}}_t)|{|}_2^2\\ & +\zeta D_{\mathrm{KL}}(q_{\mathbf{\varphi }}({\mathbf{z}}_t\mid {\mathbf{s}}_t,{\mathbf{s}}_{t+1})||p({\mathbf{z}}_t)).(2)\end{array}$$

Behavior Cloned Policy and Truncated Value Function

对于策略采用监督学习的方式进行优化，但是策略的输入包含历史$n_c$步的动作作为输入
$$\mathcal{L}({\mathbf{s}}_t,{\mathbf{a}}_{t-n_c:t})=||{\mathbf{a}}_t-f_{\mathrm{b},\mathbf{\psi }}({\mathbf{s}}_t,{\mathbf{a}}_{t-n_c:t-1})|{|}_2^2.$$

对价值函数同样采用监督学习的方式，其输出表示为H-steps的累计回报的估计
$$\mathcal{L}(R_{H,t},{\mathbf{s}}_t,{\mathbf{a}}_{t-n_c:t-1})=||R_{H,t}-f_{\mathrm{R},\mathbf{\xi }}({\mathbf{s}}_t,{\mathbf{a}}_{t-n_c:t-1})|{|}_2^2.$$
其中$R_{H,t}={\sum }_{j=t}^{j=t+H-1}{r}_j$

要指出的是，上述动力模型、策略以及价值均为ensemble的形式。

Planning

采用MPC的规划方法，在H-steps的规划中，每一步所执行的动作包含策略$f_b$、高斯噪声以及历史规划得到的最优动作${\mathbf{T}}_t^{\ast }$,
$${\mathbf{A}}_{n,t}=(1-\beta ){\mathbf{a}}_t+\beta {\mathbf{T}}_{\text{prev},i=\min (t,H-1)}^{\ast }$$
其中${\mathbf{a}}_t=f_{\mathrm{b}}^l({\mathbf{s}}_t,{\mathbf{a}}_{t-n_c:t-1})+\mathbf{ϵ}$。要注意的是，算法会单独选择一个模型进行规划过程（line 8、9），并累计集成奖励模型均值（line 16），对terminal的状态则是加上价值函数均值（line 18）。而全新的每一个step的最优动作将通过基于累计奖励加权形式得出（该过程与ICLR 2021 的MBOP类似）
T t ∗ = ∑ n = 1 N e κ R n A n , t + 1 ∑ n = 1 N e κ R n , ∀   t ∈ { 0 , … , H − 1 }   . \mathbf{T}_t^*=\frac{\sum_{n=1}^N\mathrm{e}^{\kappa\mathbf{R}_n}\mathbf{A}_{n,t+1}}{\sum_{n=1}^N\mathrm{e}^{\kappa\mathbf{R}_n}},\forall\:t\in\{0,\ldots,H-1\}\:. Tt∗​=∑n=1N​eκRn​∑n=1N​eκRn​An,t+1​​,∀t∈{0,…,H−1}.

此外，算法还提供两种不同的Trajectory Optimizer方法用于求解最优动作

1. UMBRELLA-P: Pessimistic Trajectory Optimizer，选取集成模型中累计R最小值，其对应的模型index k ∗ = arg ⁡ min ⁡ k ∈ { 1 … K } R k , s u m k^{*}=\arg\min_{k\in\{1\ldots K\}}\mathbf{R}_{k,\mathrm{sum}} k∗=argmink∈{1…K}​Rk,sum​，用该模型产生的序列轨迹求解${\mathbf{T}}_t^{\ast }$
2. UMBRELLA-G: Greedy Trajectory Optimizer，不采用加权方式求解，而是直接选取n条轨迹中累计奖励最大的轨迹作为结果，即${\mathbf{T}}^{\ast }={\mathbf{A}}_{n^{\ast },H}\mathrm{with}{n}^{\ast }=\arg {\max }_n{\hat{\mathbf{R}}}_n.$

伪代码

results