Multi-Agent Tensor Fusion for Contextual Trajectory Prediction-笔记【可能改】

大量引用：https://www.jianshu.com/p/cafe8079c7e9
《Multi-Agent Tensor Fusion for Contextual Trajectory Prediction》2019 CPVR入选
该论文主要提出了一种基于深度学习的车辆和行人轨迹预测方法，提出了一个可以保持空间结构信息的多智能体张量融合网络。

Social LSTM[1] ，Social GAN[2]：面向智能体（agent-centric）的方法进行轨迹预测
Chauffeur Net[3]：面向空间结构（spatial-centric）的编码方式
多智能体张量融合（Multi-Agent Tensor Fusion, MATF）:结合了agent和空间体两者，提出张量题融合编解码；

**【MAT张量的构造】**以空间结构的模式观察每个agent,对其进行构造，将空间上的场景的特征编码与场景中的每个agent的过去轨迹对其。通过全卷积网络构造出融合的多智能题张量编码【？？这个方法看下去】。
Single Agent LSTM编码器输出的Multi-agent 特征向量（红色）在空间上根据这些智能体的坐标对齐，构造出Multi-agent 编码通道。Multi-agent通道与静态agent 编码通道（场景编码全卷积网络的输出特征图）对齐，以保持智能体与场景间的空间结构。

MATF 使用 Conditional GAN 来捕获预测轨迹的这种人类现实行为动作的不确定性

MATF 对新提出的模型在驾驶数据集和行人人群数据集上进行了实验验证。该论文报告了来自以下数据集的结果：公开的 NGSIM 驾驶数据集，斯坦福无人机行人数据集（Stanford Drone dataset），ETH-UCY 人群数据集，以及最近收集的暂未公开的马萨诸塞州驾驶数据集。文章汇报了定量和定性实验结果，显示了模型每个部分的贡献。与领域最先进论文的定量比较表明所提出的方法在高速公路驾驶和行人轨迹预测方面都有着最好的表现。

整体架构中，蓝色则是预测出来的结果张量，通过single-agent LSTM decoder进行解码，得出轨迹的预测；
每个融合的output 该张量切片得出，包含了推理加工过的相应智能体的社会互动信息、自身历史轨迹信息、以及其周围的场景物理约束信息。

因为 MATF 架构运行共享卷积运算，所以在同一次正向传播中可以计算得出的所有智能体的相应融合向量。

MATF 在此之后将这些融合的特征向量作为残差（Residual）加到相应智能体的原始编码向量上，以获得最终智能体编码向量。这些向量最终将被循环神经网络解码器（Single-Agent LSTM Decoders）独立地解码为网络对这些智能体的未来的轨迹的预测结果。MATF 整个架构是完全可微的，并且支持端到端的训练。【？？？？】

[1] A. Alahi, K. Goel, V. Ramanathan, A. Robicquet, L. Fei Fei, and S. Savarese. Social lstm: Human trajectory prediction in crowded spaces. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2016.

[2] A. Gupta, J. Johnson, L. Fei Fei, S. Savarese, and A. Alahi. Social gan: Socially acceptable trajectories with generative adversarial networks. In Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, 2018.

[3] M. Bansal, A. Krizhevsky, and A. S. Ogale. Chauffeurnet: Learning to drive by imitating the best and synthesizing the worst. CoRR, abs/1812.03079, 2018.