论文阅读笔记：Multi-Agent Tensor Fusion for Contextual Trajectory prediction

         作者的意图在于把来自场景纹理的约束和行人行为的随机性约束进行共同建模。作者认为，行人轨迹预测之所以充满挑战性，是因为智能体运动具有随机性，并且受目标、与其他智能体的社会互动、场景纹理等因素的共同影响，并且对轨迹的预测需要泛化到新的情境下，其他智能体的数量和配置并不是固定的。为了解决这个问题，之前的工作多使用以代理为中心或者以空间位置为中心的编码方式。以代理为中心的方法把在多个智能体的特征向量上应用聚合函数（如Social-LSTM）,以空间为中心的方法直接对场景的自上而下表示进行操作。

        作者提出了多智能体张量融合（Multi-Agent Tensor Fusion,MATF）的编码解码架构，这种架构有以代理为中心方法的特点，并且能以空间为中心方式通过融合的多智能体张量保留所有智能体和环境的空间布局。作者把场景中每个智能体的过去轨迹的编码和场景的编码对齐以保持智能体和场景的空间特征对应关系，接着通过全卷积映射形成一个融合的多智能体融合张量，它能够捕捉到多智能体之间以及智能体-环境之间的空间相互作用。然后，作者通过解码在MATF中编码的综合社会关系和上下文信息得到场景中所有智能体的轨迹预测。为了捕捉未来预测轨迹的不确定性，作者使用了条件生成对抗训练来表示有限样本组上轨迹的分布。

(1)MATF编码-解码

        

        MATF中有两个并行的编码流，一部分是针对单个智能体的LSTM，用于编码该智能体的过去轨迹，所有智能体的LSTM共享权重参数；另一部分是用来编码静态场景上下文图像的CNN。LSTM输入该代理的过去轨迹，输出一个一维的状态向量，场景上下文编码器输入一个鸟瞰视图的原始图像（或者包含所有静态对象的分割图像），输出保留场景空间结构信息的缩放特征图。

         接下来，这两个编码流在空间上连接到一个多代理张量中,多代理张量是把所有智能体的状态向量