A Novel Graph based Trajectory Predictor with Pseudo Oracle

带有伪Oracle的新型基于图的轨迹预测器

1 引言

动态场景中的行人轨迹预测仍然是众多应用中的关键问题，例如无人驾驶汽车[2]和具有社交意识的机器人[3]。如图1所示，考虑到过去用不同颜色的线标记的轨迹，应该预测用不同颜色的箭头标记的行人的未来轨迹。由于各种原因，这种预测很困难，例如，动态环境中存在复杂的人与人之间的相互作用。此外，行人的人际关系和多式联运特性对准确的轨迹预测提出了严峻的挑战。
与轨迹预测有关的早期工作始终依赖于线性，恒定速度和恒定加速度模型。但是，这些简单的模型在复杂环境中显示出较差的性能。后来，人们使用了一些随机模型，包括高斯混合回归[4]，隐马尔可夫模型[5]和动态贝叶斯网络（DBN）[6]来对行人的运动模式进行建模。但是，很难设计在一般情况下有用的手工制作的功能。最近的工作诉诸于深度神经网络，例如循环神经网络（RNN）[7]，以自动模拟行人的运动模式。具体来说，长期记忆（LSTM）网络用于对行人的运动模式进行编码，并通过对编码后的隐藏状态进行采样来估算行人的未来轨迹[8]。后来，提出了一种社会生成对抗网络（SGAN）来生成社会上可接受的多模式轨迹[9]。最近的许多研究都集中在对行人的社交互动进行更好的建模上。同时，大量的精力集中在生成知识丰富的潜在变量上，以提高预测性能。一种常见的做法是通过语义分割[10]或对象检测[11]从图像数据中学习知识。但是，这样的学习过程极大地增加了计算开销。
尽管近年来已经取得了显着进展，但仍然存在两个不足的问题影响了轨迹预测性能。首先，很少有作品能够利用行人头部方向与其社交互动之间的相关性。常识是，行人的未来轨迹总是受到前方行人的影响。我们称他们为相关的行人。利用这种常识有利于社交互动建模。第二，据我们所知，没有工作探索未来轨迹的潜在变量分布。大多数基于生成模型的轨迹预测器都使用随机高斯噪声作为潜变量来生成各种输出。几篇著作从观察到的轨迹或图像数据中学习了潜在的变量分布。但是，我们验证了从未来轨迹中学到的潜在变量分布对于准确的轨迹预测更有用。
在这项工作中，我们提出了GTPPO（带有伪Oracle的基于图的轨迹预测器），它是一种基于生成模型的轨迹预测器。 GTPPO由一个基于LSTM的编码器-解码器网络和一个潜在变量预测器组成。在编码器网络中，提出了一个GA2T（图形注意力和社交注意力网络）模块来捕获行人的社交互动。具体来说，以数据驱动方式学习的图表注意力用于汇总邻居的信息。然后，根据行人的行进方向计算出的社会注意力被用于增强相关行人之间的相关性。 GA2T模块的输出表示为交互状态。两个共享的LSTM分别用于对行人的运动和交互状态进行编码。提出了一种具有两个前馈神经网络的新型潜在变量预测器，该神经网络分别从观测到的和真实的轨迹估计两个潜在变量的分布。预测变量的输入是行人的位置，速度和从轨迹中提取的加速度。位置反映了潜在的场景布局，而速度和加速度则代表行人的运动方式和激进程度。在训练阶段，我们最小化两个潜在变量分布之间的KL散度。然后，潜变量预测器仅在测试阶段才从观察到的轨迹估计潜变量。但是，估计的潜在变量包含有关行人未来轨迹的知识。通过将运动状态，交互状态，估计的潜在变量和随机的高斯噪声连接在一起来生成最终向量。随机使用高斯噪声来处理未来的不确定性。在解码器网络中，共享的LSTM用于将最终矢量转换为行人的相对位置，以用于预测未来的轨迹。
通常，我们的主要贡献是三方面。 （1）我们提出了一个GA2T模块来模拟行人的社交互动。我们利用行人的行进方向作为伪预言机来计算他们的社会关注度，然后通过突出显示相关行人之间的相关性来改进图形关注网络（GA T）。 （2）我们提出了一种新颖的潜在变量预测器，它可以估计知识丰富的潜在变量以提高预测性能。这种潜在变量包含有关行人未来轨迹的知识，因此可以称为另一个伪预言。 （3）我们将GA2T模块和潜在变量预测器嵌入到基于生成模型的轨迹预测器中，以处理未来的不确定性。此外，我们在ETH [12]和UCY [13]数据集上实现了最先进的性能。
本文的其余部分安排如下。第二节审查了相关作品。第三节详细描述了所提出的方法。第四节介绍了实验结果。第五节提供结论和讨论。

图2：系统管道。我们的模型包含两个关键组件：编码器-解码器网络和潜在变量预测器。编码器模块由运动LSTM，图形LSTM和GA2T组成。潜变量预测器通过两个前馈神经网络估计潜变量。在训练和测试阶段分别从地面真相和观察到的轨迹中学习潜变量。解码器模块基于两个LSTM输出和学习到的潜在变量（彩色最佳观看）的串联生成未来轨迹。