苏菲:一个专注于预测符合社会和物理约束的路径的GAN
论文链接:https://arxiv.org/pdf/1806.01482.pdf
摘要:本文讨论了场景中多个交互代理的路径预测问题,这是许多自动驾驶平台(如自动驾驶汽车和社交机器人)的关键步骤。我们介绍SoPhie;基于生成对抗网络(GAN)的可解释框架,其利用场景的图像来利用两个信息源,场景中所有代理的路径历史以及场景上下文信息。要预测代理的未来路径,必须利用物理和社交信息。以前的工作并没有成功地共同模拟物理和社会互动。我们的方法将社交关注机制与物理关注相结合,帮助模型学习在大型场景中查看的位置,并提取与路径相关的图像的最显着部分。然而,社交关注组件在不同的代理交互中聚合信息,并从周围的邻居中提取最重要的轨迹信息。 SoPhie还利用GAN生成更逼真的样本,并通过对其分布进行建模来捕捉未来路径的不确定性。所有这些机制使我们的方法能够预测代理人的社会和物理合理路径,并在几个不同的轨迹预测基准上实现最先进的性能。
总结本文的主要贡献如下:
1.我们的模型使用场景上下文信息与代理之间的社交交互,以预测每个代理的未来路径。
我们提出了一种更可靠的特征提取策略来编码代理之间的交互。
3.我们结合基于LSTM的GAN引入两种注意机制,以生成更准确和可解释的社会和物理可行路径。
4.多个轨迹预测基准的最新结果。
好了,官方翻译完毕,接下来上自己的理解:
1.1先上流程图:
1.2问题定义
t时刻的图像:
N个代理的过去到现在的状态:
1-N个代理的状态集合+除去第i个代理的状态集合:
未来时刻的轨迹标签:
所以对第i个代理未来t+1到t+T(T>1)时刻的真实轨迹和预测轨迹:其中