【论文阅读】ICML2020: Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?

Column: January 6, 2022 7:18 PM
Last edited time: January 30, 2022 12:14 AM
Sensor/组织: Oxford
Status: Finished
Summary: RIP out-of-distribution，怎样考虑不确定性识别现象 做出处理
Type: ICML
Year: 2020
引用量: 46

正在进行中 → 参考的Youtube 比论文更好懂

• 参考与前言

  项目主页：

  Robust Imitative Planning

  PMLR pdf + supplementary pdf：

  Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?

  github：https://github.com/OATML/oatomobile

  arxiv 地址：

  Can Autonomous Vehicles Identify, Recover From, and Adapt to Distribution Shifts?

  youtube (建议看看 虽然有点长 讲的比较通俗易懂型)：

  https://youtu.be/p73GZZFGkq4

1. Motivation

• 友情链接：out-of-distribution

  深度神经网络通常使用 封闭世界假设进行 训练即假设测试数据分布与训练数据分布相似。然而，当在现实世界的任务中使用时，这个假设并不成立，导致它们的性能显着下降。

  为什么模型具有 OOD 脆性？

  1. 神经网络模型可能严重依赖训练数据中存在的虚假线索和注释伪像 (spurious cues and annotation artifacts)，而 OOD 示例不太可能包含与分布中示例相同的虚假模式。
  2. 训练数据不能涵盖分布的所有方面，因此限制了模型的泛化能力。

熟悉一下缩写：
OOD = out of distribution / 不在训练集出现的数据
RIP = robust imitative planning
Ada RIP = adaptive robust imitative planning

也就是如果在运行时遇到训练时没有遇到的场景/数据，模型虽然方差比较大，但是并没有利用上这个信息进行处理，本文主要做了：

1. 在测试模型的时候，识别训练集中没遇到的场景，即OOD场景
2. 在OOD场景中 对模型进行判断 是否相信及相信哪一个 或 选择AdaRIP进行采样

问题场景

[Sugiyama & Kawanabe, 2012; Amodei et al., 2016; Snoek et al., 2019] 已经多次证明，当 ML 模型暴露于新环境时（即在 偏离训练集 观察到的分布的情况下）时，由于它们无法泛化，其可靠性会急剧下降，从而导致灾难性的结果

举例：在这幅图中，不同的Model给出了${\mathbf{y}}^1,{\mathbf{y}}^3$ 都不错，但这是因为这个场景 (大圆盘) 没有在训练集中出现过而现有模型评估的时候并没有考虑完全，所以本文提出的RIP会在这种场景下给出针对于follow path来说更好的 ${\mathbf{y}}^3$，图中 ${\text{min}}_k$ 是指同一个轨迹 $y_i$ 对应 q1, q2, q3 最小的

RIP 考虑模型之间的分歧，避免在 OOD 任务中过度自信导致灾难性 路径结果外扩

虽然有其他比较trick的方法，比如 直接限制车辆在车道线内，基于感知、e2e方法，但是这种也容易受到 spurious correlations. 也就会获得非因果特征 而导致在OOD场景中动作的混乱

• 套娃一下关于 non-causal features that lead to confusion in OOD scenes (de Haan et al., 2019).

在介绍后半部分引用了一些人的工作 现有的Baseline 但是他们都无法解决这个 out of distribution 问题 比如 lbc, R2P2

Contribution

在 conclusion结论 里有简洁版本 主要就是：formulate out of distribution dataset的不确定性问题，提出RIP去解决这个不确定性问题使得model robust，最后提一个benchmark用来给大家进行自己模型 robust和OOD事件下的表现。

1. Epistemic uncertainty-aware planning：RIP 其实可以看做一个 Simple quantification of epistemic uncertainty with deep ensembles enables detection of distribution shifts.

   通过采用贝叶斯决策理论和稳健的控制目标，展示了如何在不熟悉的状态下采取保守的行动，这通常使我们能够从分布变化中恢复（如图 1）

   友情链接 ：Monte-Carlo Dropout（蒙特卡罗 dropout），Aleatoric Uncertainty，Epistemic Uncertainty

2. Uncertainty-driven online adaptation：自适应鲁棒模仿规划 (AdaRIP)，使用 RIP 的认知不确定性估计来有效地查询专家的反馈，用于即时适应，而不会影响安全性。因此，AdaRIP 可以部署在现实世界中：它可以推理它不知道的东西，并在这些情况下要求人工指导以保证当前的安全并提高未来的性能。

3. Autonomous car novel-scene benchmark：一个benchmark用来 评估自动驾驶对一组分布外任务的鲁棒性。评估指标：

   1. 检测 OOD 事件，通过违规和模型不确定性的相关性来衡量
   2. recover from distribution shift，通过新场景中成功机动的百分比进行量化
   3. 有效地适应 OOD 场景，提供在线监督

2. Method

首先是几点假设和公式说明：

1. 专家数据：$\mathcal{D}={\left\{\left({\mathbf{x}}^i,{\mathbf{y}}^i\right)\right\}}_{i=1}^N$；其中，$\mathbf{x}$ 是高维的观测输入， $\mathbf{y}$ 是 time-profiled 专家轨迹，那么专家策略 expert policy 可以这样表示：$\mathbf{y}\sim {\pi }_{\text{expert }}(\cdot \mid \mathbf{x})$

   方法中会使用模仿学习 approximate the unkonwn expert policy

2. 假设 Inverse Dynamics：使用PID进行Low-level control，这样只需针对轨迹 $\mathbf{y}=(s_1,\cdots ,s_T)$ 动作由 low-level controller 来输出 $a_t=\mathbb{I}\left(s_t,s_{t+1}\right),\forall t=1,\dots ,T-1$

3. 假设全局规划已有，假设真值定位信息get

简洁：模仿学习结果用高斯概率表示，学习分布的参数即可；然后在经过 aggregate和 plan 做出最后的选择

图一：摘自链接 youtube

其中aggregate步骤 也就是上面的 $\oplus$ 算子，有图一中黄框计算所示的两种：

• 取策略中最差的 选差的里面较高的（RIP-WCM） worst case model
  受启发于 (Wald,1939)

• 另一种是全部相加 除以数量（RIP-MA） model averaging

  受启发于 Bayesian decision theory (Barber, 2012)

• 还有一种在论文中 RIP-BCM 是作者经验上找到的→ ${\max }_k\log q_k$

公式表示

2.1 专家数据

给出 experts plan 的分布情况 → 因为通常一般都直接是一个action但是softmax之前的应该也能算distribution吧？

Bayesian Imitative Model

• training via MLE

  在数据集 $\mathcal{D}$ 下 distribution density models $q(\mathbf{y}|\mathbf{x};\theta )$ 的后验 $p(\mathbf{\theta }|\mathcal{D})$ ，也就是通过数据集先学习到的模型参数，然后将其作为先验，进入 probabilisitc imitative mode

  $${\mathbf{\theta }}_{\mathrm{M}\mathrm{L}\mathrm{E}}=\underset{\mathbf{\theta }}{\mathrm{argmax}}{\mathbb{E}}_{(\mathbf{x},\mathbf{y})\sim \mathcal{D}}[\log q(\mathbf{y}\mid \mathbf{x};\mathbf{\theta })]\text{\hspace{1em}(1)}$$

• using probabilisitc imitative model $q(\mathbf{y}|\mathbf{x};\theta )$；不同于之前(Rhinehart et al., 2020; Chen et al., 2019) 这里有一个关于模型参数的先验分布 $p(\mathbf{\theta })$ 用来代入

  在观测 $\mathbf{x}$ 下，专家做出 $\mathbf{y}$ 的概率为 → 作者自己也说了 经验上 发现这样很有效

  $$\begin{array}{rl}q(\mathbf{y}\mid \mathbf{x};\mathbf{\theta })& =\prod _{t=1}^{T}p\left(s_t\mid {\mathbf{y}}_{<t},\mathbf{x};\mathbf{\theta }\right)\\ & =\prod _{t=1}^T\mathcal{N}\left(s_t;\mu \left({\mathbf{y}}_{<t},\mathbf{x};\mathbf{\theta }\right),\Sigma \left({\mathbf{y}}_{<t},\mathbf{x};\mathbf{\theta }\right)\right)\end{array}\text{\hspace{1em}(2)}$$

  其中 $\mu (\cdot ;\mathbf{\theta })$ , $\Sigma (\cdot ;\mathbf{\theta })$ 是两个RNN，尽管正态分布具有单峰性 unimodality ，但自回归（即，未来样本依赖于过去的正态分布的顺序采样）允许对多峰分布 multi-model distribution 进行建模

整个过程

1. 使用 deep imitative models 的集合作为后验 $p(\theta |D)$ 的简单近似
2. 考虑一个 K 个组件的集合，使用 ${\theta }_k$ 来指代我们的第 k 个模型 $q_k$ 的参数
3. 通过最大似然训练（参见公式 1和 框架图 b 部分）

2.2 识别OOD

主要对比后验 $p(\mathbf{\theta }|\mathcal{D})$ 下各个规划的disagreement 使用 $\log q(\mathbf{y}\mid \mathbf{x};\mathbf{\theta })$ 的方差 来指出同policy对不同轨迹的差异性有多大

$$u(\mathbf{y})\triangleq {\mathrm{Var}}_{p(\mathbf{\theta }\mid \mathcal{D})}[\log q(\mathbf{y}\mid \mathbf{x};\mathbf{\theta })]\text{\hspace{1em}(3)}$$

低方差证明 in-distribution，高方差则是OOD

• 这个高低阈值怎么确定？

2.3 后规划

认知不确定性下的替代规划策略 （下图红色部分）

摘自youtube中ppt

首先公式化 在认知不确定性下对目标位置 G 的规划问题，即模型参数 $p(\mathbf{\theta }|\mathcal{D})$ 的后验，作为通用目标的优化 (Barber, 2012)，我们称之为鲁棒模仿规划 (RIP)

$$\begin{array}{rl}{\mathbf{y}}_{\text{RIP }}^{\mathcal{G}}& \triangleq \underset{\mathbf{y}}{\mathrm{argmax}}\stackrel{\text{aggregation operator }}{\overbrace{\underset{\mathbf{\theta }\in \text{ supp }(p(\mathbf{\theta }\mid \mathcal{D}))}{\oplus }}}\log \underset{\text{imitation posterior }}{\underbrace{p(\mathbf{y}\mid \mathcal{G},\mathbf{x};\mathbf{\theta })}}\\ & =\underset{\mathbf{y}}{\mathrm{argmax}}\underset{\mathbf{\theta }\in \text{ supp }}{\oplus }\log \underset{\text{imitation prior }}{\underbrace{q(\mathbf{y}\mid \mathbf{x};\mathbf{\theta })}}+\log \underset{\text{goal likelihood }}{\underbrace{p(\mathcal{G}\mid \mathbf{y})}}\end{array}\text{\hspace{1em}(4)}$$

其中 $\oplus$ 是应用于后验 $p(\mathbf{\theta }|\mathcal{D})$ 的算子（定义见前），并且目标似然由例如以最终目标位置 $s_T^{\mathcal{G}}$ 为中心的高斯和预先指定的容差 $p$ 给出 $p(\mathcal{G}\mid \mathbf{y})=\mathcal{N}\left({\mathbf{y}}_T;{\mathbf{y}}_T^{\mathcal{G}},{ϵ}^{2}I\right)$

• 这里有点像高斯过程了 因为要在整个T时间内的高斯过程分布值

正如公式 4 里 plan ${\mathbf{y}}_{RIP}^G$ ，我们最大化的主要是两个部分：来自专家数据下的 imitation prior，和 接近最终目标点 G

• 原文中指出的关于后验 $p(\mathbf{\theta }|\mathcal{D})$ 是表示的 our belief about the true expert model

  emmm 但是这个不是通过数据集训练出来的模型参数吗？为什么是一个对expert model的true概率呢？ 需要对着代码看看这个

  是说这个对应模型参数下有多像这个expert plan吗？ → 好像是这样的

虽然说明 深度模仿模型 DML (Rhinehart et al., 2020) 是把 $\oplus$ selects a single ${\theta }_k$ from posterior 实验部分证明了 这样对于OOD 直接gg

2.4 AdaRIP

can we do better? → 专家介入 蓝色部分

3. 实验结果

• 在nuScenes：关于 out-of-distribution 怎么处理的呢？ 自己进行手动分割数据吗？

  因为在carla里 能看出来是手动选择了这几个场景进行测试

在nuScenes数据集上做的

自己提出了一个benchmark CARNOVEL

4. Conclusion

1. 提出RIP 对 distribution shift 场景进行识别和恢复
2. AdaRIP 在了解不确定性后做出动作，根据在线专家的feedback进行参数自适应
3. 提出一个benchmark baseline 去做这个 out of distribution 问题

原文摘取

碎碎念

这篇 作者的youtube 比论文真的好懂太多了 hhhh ppt做的是真的好，每个步骤也很清晰，关于open-question 也同样在视频中自己提出了不足（还挺多不足的 主要就是涉及实车的real-time）

1. 实时的认知不确定性评估器
2. 实时的在线planning
3. 在线适应中对灾难性遗忘的抵抗力 → 增量学习是怎么做的？
   Resistance to catastrophic forgetting in online adaptation

• 但是我感觉第一个实时从论文里的方法来看 是可以做到的，而且全文没有关于对时间的对比？ 为什么会open question提出呢？ 就是：实验部分没有说明实时性效果

后面看代码的时候再把代码贴进来

• 组会讨论时，小伙伴指出 $q_1,q_2,q_3$ 如果都是从同一个数据集，同样的训练超参数，应该训练出来的模型是差不多的吧，不会呈现多样性的选择 如图1
• 还有就是其实本篇主旨应该是要做自适应的… 但其实是没做… adapt 人为弄得，用大哥们的话：原来就是加了一层embedding.