《TrafficPredict: Trajectory Prediction for Heterogeneous Traffic-Agents》阅读笔记

《TrafficPredict: Trajectory Prediction for Heterogeneous Traffic-Agents》
该论文的其它笔记整理：
https://baijiahao.baidu.com/s?id=1623896851049513069&wfr=spider&for=pc
http://www.ruanwen5.cn/news/20190129/3442.html

轨迹预测
基于LSTM提出了一种新算法： TrafficPredict
算法的目标：更高的准确率
是预测图片中对象的移动吗？是的
每一类对象之间是否建立了联系：
通过空间边建立了联系,所有空间边的输出通过注意力机制加权到各个点上
自注意力机制在其中的作用

4D Graph Generation
在城市交通场景中，各种交通代理与其他实例进行交互，每个实例在任何时候都与与其他实例的交互有自己的状态，并且它们在时间序列中也有连续的信息。
将流量代理作为实例节点，将关系作为边，我们可以在实例层中构造一个图，如图2(b).
所示一帧中两个实例节点之间的边称为空间边(Jainetal.2016；Vemula，Mueling，和Oh2017)，
它可以在空间空间中传输两个交通代理之间的交互信息。
相邻帧中同一实例之间的边是时间边，它能够在时间空间中一帧一帧地传递历史信息。

图2©如类别层中的图所示。所有相同类型的实例都被集成到一个组中，每个组都有一条面向相应的超级节点的边。
在总结了运动相似性之后，超级节点将引导通过一个定向边缘传递给实例组。
在顺序帧中，同一超级节点之间也有时间边。
该类别层是专门为异构流量而设计的，可以充分利用数据来提取有价值的信息，以提高预测结果。
这一层非常灵活，很容易退化到一些类别在某些框架中消失的情况。

在顺序帧中，同一超级节点之间也有时间边。该类别层是专门为异构流量而设计的，可以充分利用数据来提取有价值的信息，以提高预测结果。这一层非常灵活，很容易退化到一些类别在某些框架中消失的情况。

最后，我们得到了二维交通代理及其交互，一维时间序列，一维高级类别。
通过这个四维图，我们构建了一个针对整个流量的信息网络。
所有的信息都可以通过图的节点和边来传递和利用。

Instance Layer
旨在捕获实例的移动模式
每个实例节点一个LSTM
相同类型的实例共享参数
每条边分配LSTML
空间边共享相同的参数
时间边分为三种类型

Category Layer
同一类代理有相似的特性，类似反应。
类别层基于图2©.有四个部分：
超级节点指定类别
实例组到超级节点的有向边
超级节点到实例组的有向边
超级节点的时间边

类别层的结构如图3（以一个具有三个实例的超级节点为例）
Category Layer -> 隐藏状态h和状态c -> Category Layer
c包含了实例的历史轨迹信息，使用自注意机制来探索序列模式。
在t时刻，类别中第m个实例的移动被捕获如下。

以一个具有三个实例的超级节点为例，类别层的体系结构如图3所示。假设在当前帧中有n个属于同一类别的实例。我们已经从实例LSTM中得到了隐藏状态h1和单元格状态c，它们是类别层的输入。由于细胞状态c包含了实例的历史轨迹信息，因此通过softmax操作对c使用自我注意机制(vaswanietal.2017)来探索实例的模式

注意力机制 transformer ：https://zhuanlan.zhihu.com/p/53682800

capsule胶囊网络

capsule就是封装
是neuron（神经元）的一种？