[文献阅读报告]：MutiPath: Multiple Probabilistic Anchor Trajectory Hypotheses for Behavior Prediction

文献阅读报告：MutiPath: Multiple Probabilistic Anchor Trajectory Hypotheses for Behavior Prediction

1. 概述

1.1 简述

​ 由于现实世界的高度不确定性和多模态的性质，较之预测单一的平均轨迹（MAP），预测未来时刻的多模态概率分布更有实际意义。Mutipath将未来时刻的轨迹分布与一系列的state-sequence Anchor联系起来。

​ 模型通过预测每个Anchor的离散分布，回归预测每个Anchor的路径点的offsets和不确定性，然后在每个时间步长里生成一个GMM。

1.2 模型解决问题的方向

使用一组Trajectory Anchor作为建模的基础。

1. 通过编码anchor的分布，捕捉agent的意图不确定性。
2. 在给定agent的意图后，未来时刻的每个时间步长服从正态分布，均值对应着anchor与上下文之间的offsets，而相应的协方差用于获得单一模态的不确定性。

1.3 模型主要结论和贡献

1.4 测试与实验

1.5 进一步的研究方向

2. 模型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B4OIjXmd-1597321398972)(/Users/zhoubin08/Library/Application Support/typora-user-images/image-20200813114554536.png)]

1）模型输入自上而下的场景信息，采用Scene CNN提取输入特征的语义信息和时序信息，编码agent之间的交互，输出编码后的特征图scene feature。

2）对于场景中的每个Agent，裁剪一个以agent为中心的特征表示视图，预测K个anchor的轨迹概率。

3）对于每个Anchor，回归预测每个anchor在未来时刻的不确定性分布的偏移量。

2.1 Anchor

通过无监督学习的方法，在状态序列空间内的训练数据中找到anchor类别，提供粗粒度的语义表示。

将模型的一组离散的anchor trajectory，定义为模型的意图： A = { a k } k = 1 K A=\{a^k\}_{k=1}^K A={ak}k=1K​，其中每一个anchor $a^k$ 为序列轨迹$a^k=[a_1^k,...,a_T^k]$，使用softmax归一化：$\pi (a^k|x)=\frac{exp{f}_k(x)}{{\sum }_i{f}_i(x)}$，其中$x$为输入的一系列的语义和时序信息，$f(.)$为NN的输出。

2.2 高斯混合模型（GMM）

双变量高斯分布（${\mu }_x,{\mu }_y,{\sigma }_x,{\sigma }_y,\rho$）

控制不确定性依赖于每个路径点状态的高斯分布：
$$\varphi (s_t^k|a^k,x)=\mathcal{N}(s_t^k|a_t^k+{\mu }_t^k(x),\sum _t^k(x))$$
其中，${\mu }_t^k(x)$为anchor状态之间的offsets，相当于以先前anchor作为先验的残差项。

2.3 模型的cost function

$$p(s|x)=\sum _{k=1}^K\pi (a^k|x)\prod _{t=1}^T\varphi (s_t|a^k,x)$$

2.4 模型的Loss function

数据采用 { x m , s ^ m } m = 1 M \{x^m,\hat s^m\}_{m=1}^M {xm,s^m}m=1M​的形式，学习$\pi (a^k|x)、\mu (x{)}_t^k、\sum (x{)}_t^k$的分布参数，对cost function去负对数似然损失。
$$l(\theta )=-\sum _{m=1}^M\sum _{k=1}^{K}1(k={\hat{k}}^m)[log\pi (a^k|x^m:\theta )+\sum _{t=1}^{T}log\mathcal{N}(s_t^k|a_t^k+{\mu }_t^k,\sum _t^k;x^m;\theta )]$$
其中，${\hat{k}}^m$是与GT轨迹${\hat{s}}^m$最为接近的anchor的index。

3. 训练参数的使用

Input：静态和动态语义信息（400*400–>80m*80m, 5HZ(0.2s), channel: 15）：

​ $[RGB,dis\_road\_edge,speed\_limit,light(5),vehicle\_pos(5)]$

​ 图像的空间位置，各个时间步长，车道连接，停止线，速度限制，红绿灯等。

model：Scene CNN 采用$Resnet$进行特征图的提取，特征图中代理信息提取大小为11*11，输出双变量高斯分布 的参数和anchor的概率表示，1s---->5s。