【Motion Forecasting】FFINet：对代理未来轨迹可能的交互进行探索

FFINet：Future Feedback Interaction Network for Motion Forecasting

今天分享的这篇工作发表于2024年的IEEE Transactions on Intelligent Transportation Systems。从文章的标题中不难看出，FFINet显式地对代理在未来时刻运行轨迹之间可能的交互进行了探索，并以反馈的形式与观测时刻的历史运动信息进行交互，从而使用包含着更丰富信息的特征对最后的未来轨迹进行预测。

想要对未来轨迹的交互进行建模，首先要做的是对未来轨迹进行初步的预测，之后再对初步预测的未来轨迹进行编码，得到初步预测未来轨迹的特征，使用特征对应的embedding来对交互进行建模，再与观测时刻的历史运动信息进行交互，这符合近年来流行的双阶段轨迹预测，即首先生成轨迹的proposals，再对proposals进行refine，从而生成最终的预测轨迹。

摘要

运动预测在自动驾驶当中扮演者重要的角色，它的任务是对交通参与者在未来可能的运动进行合理的预测。大多数现有的方法聚焦于对观测时刻内代理与环境之间的交互进行建模，并以一种前馈的方式对目标代理多模态的未来轨迹进行预测，这些方法忽略了由代理之间在未来时刻产生的交互而导致的轨迹变换【比如，不同的代理可能会在未来时刻驶入相同的车道，过去的方法没有考虑代理在未来时刻轨迹之间的冲突】。

在这项工作中，作者提出了一种新颖的框架，名为Future Feedback Interaction Network（FFINet），该框架同时使用当前时刻特征（current），历史观测时刻特征（observation）以及可能的未来时刻交互特征（future interaction）来对目标代理的未来轨迹进行预测。

首先，本文方法使用不同的时空编码器来对每一个场景当中解耦的位置向量【decomposed position vectors】以及当前时刻位置【current position】进行编码，来为后续的跨时域聚合【cross-temporal aggregation】提供丰富的特征。

随后，在FFINet框架当中的四个模块：当前融合模块（current fusion module），观测时刻交互模块（observation interaction module），未来反馈模块（future feedback module）以及全局交互模块（global fusion module），采用相对交互（relative fusion）以及跨时域融合策略（cross-temporal aggregation）来对特征进行融合。其中，未来反馈模块（future feedback module）可以通过将未来信息反馈到前向预测的过程中来加强模型对未来运动的理解。

最后，广泛且丰富的交互特征被进一步输入到最终的预测器，来产生多代理的未来轨迹。

FFINet在Argoverse 1和Argoverse 2数据集上取得了SOTA水准的结果。

Introduction（精简版）

现有的方法大多数在单个前向预测的过程中对单个代理的轨迹进行预测，并独立地对代理及其周围物体之间的关系进行建模，这会导致模型忽略代理未来轨迹之间可能的碰撞。

受真实驾驶场景的启发，本文对未来交互的反馈进行探索，以期未来反馈特征能够加强模型对未来时刻代理运动的理解，并用于运动预测。

与现有的主流运动预测pipeline相比，本文方法将前馈过程分解为三个主要的步骤：

1. 针对每一个场景，根据代理的历史运动信息以及场景当中车道的拓扑结构对场景中所有代理在单个前向传播当中进行初步的轨迹预测；
2. 根据初步预测的轨迹，对代理在未来可能的交互进行特征提取；
3. 将未来交互特征反馈到前馈过程当中，以对最初的预测轨迹进行改进。

本文提出了一种简单且有效的框架FFINet，用于运动预测。具体来说，由最初的联合轨迹预测产生的未来交互将会在FFINet中被反馈到观测时刻的交互特征当中，使用以下三种交互：反馈交互（feedback interaction），未来交互（future interaction）以及前馈交互（feedforward interaction），来对最初的预测结果进行改进。

FFINet的框架可以被分解为三步：

1. 首先，在特征编码阶段，本文方法会将代理和HD maps的轨迹和位置表示解耦为位置向量、当前位置和相对位置。位置向量以及当前位置会被编码为包含丰富语义信息的时空特征（spatiotemporal features），用于跨时域聚合（cross-temporal aggregation）。
2. 其次，通过使用相对交互模块（relative interaction block）来对相对关系进行处理，跨时域交互会在当前时刻、观测时刻以及未来时刻进行交互特征的传播。
3. 最后，上述特征会被编码为全局融合特征，它将会被输入到最终的预测器，并对最初的预测轨迹进行改进。

本文的主要贡献总结如下：

• 本文提出了一种新颖的运动预测框架，它对历史时刻、当前时刻以及未来时刻的交互特征进行融合，用于加深模型对代理未来运动的理解。
• 本文提出了一种新颖的跨时域聚合策略，其中设计了一种未来反馈模块，用于对未来交互的反馈作用进行探索。
• 本文方法通过数据分解对场景当中的相对运动进行解耦，通过相对交互模块，可以对场景当中参与者的相对关系进行探索。

【关键词：当前时刻特征，未来反馈特征，跨时域聚合，相对运动编码】

相关工作

本文的相关工作主要介绍了Interaction Models for Motion Forecasting，Multi-Agent Joint Motion Forecasting，Conditioned Motion Forecasting，此处暂不做展开。

Future Feedback Interaction Network

Overview

运动预测的目标是基于交通参与者在观测时刻的历史运动信息对其未来若干个可能的运动状态进行预测。具体来说，第$i^{th}$个代理在时刻$t$的2D坐标可以被表示为：

$p_i^t=\{(x_i^t,y_i^t){\}}_{t=0}^T\subset R^2$

其中$T$对应的是历史观测时刻的时间长度。以历史观测时刻作为输入，模型将会输出代理多模态的未来轨迹，其未来时刻的位置可以被表示为：

${\hat{p}}_i^t=\{({\hat{x}}_i^t,{\hat{y}}_i^t){\}}_{t=T+1}^{T+T_p}\subset R^2$

其中$T_p$对应的是未来预测时刻的长度。

大多数现有的工作聚焦于对代理历史观测时刻的交互进行探索，并在单个前馈过程中对单个代理的多模态轨迹进行预测。相比之下，本文提出的FFINet会对当前时刻，历史观测时刻以及未来时刻的特征进行聚合，用于多模态的轨迹预测。

如上图所示，FFINet由以下部分组成：

（1）时空编码（Spatial-Temporal Encoding） 被用于对每一个场景的位置向量以及当前时刻位置进行编码，产生包含丰富运动信息的历史运动以及当前时刻特征，用于后续的跨时域聚合。

（2）跨时域聚合（Cross-temporal Aggregation） 当中包含四个模块，分别是当前融合模块（current fusion module），观测交互模块（observation interaction module），未来反馈模块（future feedback module）以及全局融合模块（global fusion module），用于对特征进行聚合。当前融合模块会将当前时刻代理的位置特征与距离最近的代理-道路对（agent-lane pairs）进行融合，它们会与相应的向量特征相加，并与观测交互模块融合。未来反馈模块由未来交互、反馈交互和前馈交互三部分组成，它会在代理的未来特征以及观测交互特征之间进行信息传递。全局融合模块会对代理和道路的跨时域交互特征进行融合。

（3）最终的预测器（Final Predictor） 会在单个前向传播的过程中对多个代理的多模态未来轨迹进行同时的联合预测，它带有一个回归头（regression branch）和一个分类头（classification branch）。

Data Decomposition

为了对场景中代理的运动信息以及相对位置信息进行解码，本文方法将代理的轨迹以及车道的位置解码为位置向量（position vectors），当前位置（current position）以及相对位置（relative relationship）。

1）位置向量（Position Vectors）：为了对代理的历史运动信息进行表示，本文方法对代理$i$的历史轨迹进行向量化，表示为 v i t = { p i t − p i t − 1 } t = 1 T v^t_i=\{p^t_i-p^{t-1}_i\}^T_{t=1} vit​={pit​−pit−1​}t=1T​，其中$p_i^t\subset R^2$。类似地，对于道路段$\xi$，将它的位置向量定义为 v ξ k = { p ξ k − p ξ k − 1 } k = 1 N v^k_\xi = \{p^k_\xi - p^{k-1}_\xi\}^N_{k=1} vξk​={pξk​−pξk−1​}k=1N​，其中心位置为$p_{\xi }^{k,c}=0.5\times (p_{\xi }^k+p_{\xi }^{k-1})$，其中$p_{\xi }^k$指的是道路段$\xi$当中$N$个点的第$k^{th}$坐标。

2）当前位置（Current Positions）：为了加强模型对当前时刻场景拓扑结构的理解，并提取当前时刻融合特征（current fusion features），本文方法保留了当前时刻代理$i$的绝对位置$p_i^T$以及道路段$\xi$的绝对位置$p_{\xi }^{k,c}$，从而保留当前场景最初的相对位置关系。
【但是需要注意的是，使用绝对位置，就会使得模型失去平移不变性。想要使模型对场景数据具有平移不变性，就应该避免使用任何绝对位置】

3）相对位置关系（Relative Relationships）：为了保留代理之间空间上的相对位置关系，本文方法使用$\Delta p_{ij}=p_j^t-p_i^t$和${\theta }_{ij}={\theta }_j-{\theta }_i$来表示代理$i$和$j$在时刻$t$的相对距离和角度，其中${\theta }_i$表示$p_i^T-p_i^{T-1}$的航向角。类似地，$\Delta p_{i\xi }=p_i^T-p_{\xi }^{k,c}$和${\theta }_{i\xi }={\theta }_i-{\theta }_{\xi }$表示代理$i$和道路段$\xi$之间的相对距离和角度。相对位置关系会通过 相对交互模块（Relative Interaction Module） 进行处理。

通过上述方式，轨迹和到路段的绝对位置被充分考虑，并且不会产生信息丢失，使得模型可以针对整个场景通过单词前向传播生成未来轨迹。

Spatial-Temporal Encoding

基于上述的解耦数据表示，本文方法使用不同的编码器，包括轨迹向量编码器（trajectory vector encoder），车道向量编码器（lane vector encoder），当前位置编码器（current position encoder）来对代理和车道段的位置向量和当前位置进行编码。

（1）轨迹向量编码器（Trajectory Vector Encoder）：给定包含多个代理的场景，将目标代理$i$的当前时刻绝对位置$p_i^T$坐标坐标系统的原点，同时，它的航向角${\theta }_i$会被作为坐标轴的正方向。本文方法统一将场景中所有代理的位置向量变换到上述坐标系统当中：

$z_i^t=R_i^T(v_i^t-p_i^T)$
$z_j^t=R_j^T(R_i^T(v_j^t-p_i^T))$

其中$R_i^T,R_j^T\subset R^{2\times 2}$是由${\theta }_i$和${\theta }_j$参数化的旋转矩阵。【本质上是Agent-Centric方法】

基于上述标准化之后的向量表示，首先使用轨迹向量编码器对空间特征进行编码，轨迹向量编码器由多尺度的1D CNN构成。随后，进一步使用一个线性层来对时间特征进行聚合，并得到向量特征$e_i^v$：

$e_i^v=Linear(Conv([z_i^t,a_i{]}_{t=1}^T))$

其中$a_i$是一个$1\times T$的binary mask，用于表明位置向量当中的各个时刻是否为padding，$[\cdot ,\cdot ]$指的是concat操作。

【本质上是使用一个1D CNN + 线性层的解决方案来首先将代理在观测时刻的位置向量进行编码，得到每一个代理汇总了观测时刻历史运动信息的特征向量，与HDGT/GoRela/LaneGCN等方法采用历史运动编码方式相同】

（2）车道向量编码器（Lane Vector Encoder）：类似地，首先对车道段$\xi$的位置向量$v_{\xi }^k$进行标准化，得到$z_{\xi }^k$，再使用LaneGCN对车道段的拓扑信息进行编码，得到：

$e_{\xi }^v=LaneGCN([z_{\xi }^k,a_{\xi }])$

其中$a_{\xi }$指的是道路段的属性，在Argoverse 1.1中对应于is_intersection，has_traffic_control和turn_direction。

（3）当前时刻位置编码器（Current Position Encoder）：当前时刻位置编码器被用于对代理和道路段的当前时刻绝对位置进行编码，使用MLP Block对它们在当前时刻的2D坐标进行编码。本文使用$ML{P}^1$表示单层的MLP，两层的MLP则被表示为$ML{P}^2$。当前时刻编码器被表示为：

$z_i^p=ML{P}^1(p_i^T)$
$z_{\xi }^p=ML{P}^1(p_{\xi }^{k,c})$

Cross-Temporal Aggregation

根据场景当中的向量特征以及当前时刻特征，本文设计了一种跨时域聚合（Cross-Temporal Aggregation）【跨时域聚合是本文的核心，其中包含四个模块，完成了不同输入模态以及不同时刻的特征交互】，包含当前融合模块，观测交互模块，未来反馈模块和全局融合模块，来对多个代理的历史观测时刻，当前时刻以及未来交互特征进行聚合。

在这一节，将首先引入相对交互模块（relative interaction block），它会在观测交互模块、未来交互模块和全局交互模块当中被反复利用。

Relative Interaction Block

为了对代理以及道路之间的相对位置关系进行特征提取，本文方法提出了一种即插即用的相对交互模块如上图所示。以对道路段以及该道路段周围的代理之间的交互进行建模为例，对相对交互模块的工作流程进行简介。

首先，该道路段$\xi$的一个邻域代理与其相对距离（对应上图的$\Delta p_{\xi i}$）和角度（对应上图的${\theta }_{\xi i}$）将会使用线性层（对应到上图当中的Linear）进行编码。该道路段的特征$e_{\xi }$，单个邻域代理的特征$e_i$以及相对距离和相对角度的特征编码将会拼接在一起。这一过程会对该道路段的每一个邻域代理进行处理，相当于以道路段$\xi$为目标结点，在MessagePassing框架中生成每一个源结点（源结点就是每一个邻域代理）要传递给目标结点的Message。

之后，使用GCN来对所有邻居的特征进行聚合，并使用汇总得到的Message对道路段的特征进行更新。GCN首先对每一个邻域结点产生的Message使用MLP进行lifting（对应于上图中左侧的MLP），以某一种排列不变的特征聚合方法对Message进行汇总（比如Max，Mean，Add等），再使用一个MLP对汇总的Message（对应于上图中右侧的Message）进行编码，得到最终的特征。

具体来说，给定一个车道段$\xi$及其邻域代理，上述交互过程可以被记作$T(\cdot )$：

$o_{\xi }=T(e_{\xi },e_i,\Delta p_{\xi i},{\theta }_{\xi i}),\forall i\in G_{a2l}^{\xi }$

其中$e_{\xi }$和$e_i$对应于车道段$\xi$和邻居$agen{t}_i$的特征，$G_{a2l}$表示代理和道路段之间的拓扑图，其中代理只会与一定距离范围内的道路段相连。$G_{a2l}^{\xi }$指的是在图$G_{a2l}$中与道路段$\xi$相连接的代理的子图。$T(e_{\xi },e_i,\Delta p_{\xi i},{\theta }_{\xi i}),\forall i\in G_{a2l}^{\xi }$的细节如下：

$e_{\xi }i=ReLU(ML{P}^2(\Delta p_{\xi i}+ML{P}^2(\cos {\theta }_{\xi i},\sin {\theta }_{\xi i})))$，使用$ML{P}^2$分别处理了邻域代理与道路段之间的相对距离和相对角度，再使用一个ReLU进行激活。

$o_{\xi i}=ML{P}^1([e_{\xi i},ML{P}^2(e_{\xi }),e_i])$，使用一个$ML{P}^1$聚合$e_{\xi i}$，$ML{P}^2(e_{\xi })$和$e_i$的特征。【很有可能是以谁作为目标结点，就在此时使用$ML{P}^2$对它的特征进行再次的编码】

$o_{\xi }=ML{P}^1(ML{P}^2(e_{\xi })+{\sum }_{i\in G_{a2l}^{\xi }}{o}_{\xi i})$，对应于上文，根据邻域代理与目标道路段之间的拓扑连接关系，使用GCN进行消息传递，并对道路段$\xi$的特征进行更新。

【Relative Interaction Block引入了一种FFINet当中的交互特征建模规则，它同样是一种基于Graph的交互建模方法。选定目标结点，根据目标结点对应的Graph，从邻域结点产生Message，并使用图神经网络对Message进行聚合，并对目标代理的特征进行更新。产生Message的过程中用到了目标结点的特征、邻域结点的特征以及空间中邻域结点与目标结点的相对距离和相对角度。上述过程可以被描述为$o_{dst}=T(e_{dst},e_{src},\Delta p_{src\to dst},{\theta }_{src\to dst}),\forall src\in G_{SRC\to dst}^{dst}$，其中dst表示目标结点，src表示邻域结点】

Current Fusion Module

为了充分地利用当前时刻代理和道路段的拓扑信息，本文方法进一步将当前时刻相距最近的代理-道路对（agent-lane pairs）之间的特征进行聚合，表示为：

$e_i^{p_1}=ML{P}^1([z_i^p,z_{\xi i}^p])$，此处$z_i^p$指的是当前时刻代理的特征，$z_{\xi i}^p$指的应该是与代理$i$相距最近的道路的特征。

$e_i^p=ML{P}^1([e_i^{p_1},ML{P}^1(e^{p_1},i)])$

类似地，可以得到道路段$\xi$当前的特征$e_{\xi }^p$。最后，将当前时刻的特征与向量特征（即使用1D CNN + MLP对代理历史运动向量进行处理得到的$e_i^v$和使用LaneGCN对道路段进行特征提取得到的$e_i^v$）进行相加，得到：

$e_i=e_i^v+e_i^p$
$e_{\xi }=e_{\xi }^v+e_{\xi }^p$

【当前时刻特征融合没有用到方才介绍的Relative Interaction Block。该模块处理的是当前时刻代理与道路的特征交互，以代理为例，首先检索与其相距最近的道路段，并将代理和道路段的特征进行编码，用它与代理的历史向量特征进行相加】

Observation Interaction Module

观测交互模块被用于捕捉观测时刻代理与环境之间的相对交互信息。在这一阶段将会大量使用相对交互模块，根据LaneGCN当中的四种交互：Agents to Lane（A2L），Lanes to Lanes（L2L），Lanes to Agents（L2A）和Agents to Agents（A2A），交互使用如下方式进行建模：

A2L：$o_{\xi }=T(e_{\xi },e_i,\Delta p_{\xi i},{\theta }_{\xi i}),\forall i\in G_{a2l}^{\xi }$，
L2L：$o_{\xi }=\varphi (o_{\xi },o_{\tau },\Delta p_{\xi \tau },\theta p_{\xi \tau }),\forall \tau \in G_{l2l}^{\xi }$，
L2A：$o_i=T(e_i,o_{\xi },\Delta p_{i\xi },{\theta }_{i\xi }),\forall \xi \in G_{l2a}^i$，
A2A：$o_i=T(o_i,o_j,\Delta p_{ij},{\theta }_{ij}),\forall j\in G_{a2a}^i$

其中$\varphi$指的是LaneGCN，它与之前所提到的道路向量编码器的结构相同。

Future Feedback Module

为了捕捉代理在未来可能的交互，并将未来交互反馈给观测特征，本文方法提出了一种未来反馈模块，来将未来交互产生的未来影响反馈道前馈预测的过程当中。具体来说，根据代理的运动向量特征，首先使用一个初始的预测器（initial predictor）来为每一个代理在未来$T_p$个时刻产生单个轨迹预测的结果。随后，使用一个未来编码器（future encoder）来对最初的预测进行编码：

${\hat{p}}_i^c=Linear(ML{P}^1(e_i^v))$，
$e_i^f=Linear(Conv({\hat{p}}_i^c))$

其中${\hat{p}}_i^c$指的是使用初始预测器预测得到的轨迹，而$e_i^f$指的是$agen{t}_i$的未来特征。未来编码器与轨迹向量编码器有着相同的结构。在获取每一个代理的未来特征之后，将它们通过三种交互与相应的观测时刻交互特征进行融合：

（i）反馈交互（Feedback Interaction）：首先将目标代理的观测交互特征与邻域代理的未来特征进行融合，使用Relative Interaction Block来完成这一过程，可以被表示为$f_i^b=T^{(1)}(o_i,e_i^f,\Delta p_{ij},{\theta }_{ij}),\forall j\in G_{a2a}^i$，其中$G_{a2a}^i$指的是$agen{t}_i$周围一定邻域半径内所有的代理，包括目标代理自身。【相当于目标代理的未来特征将会与邻域代理及其自身的观测交互特征进行交互，得到目标代理的未来反馈特征，我认为这一步可以理解为使未来特征对历史观测有所感知】

（ii）未来交互（Future Interaction）：随后使用未来交互来对代理在未来可能的交互进行建模，这一步对反馈改进非常重要。这一步可以被表示为$f_i^u=T^{(2)}(f_i^b,f_j^b,\Delta p_{ij},{\theta }_{ij}),\forall j\in G_{a2a}^i$。【使用对历史观测交互感知的未来特征进行未来特征交互，从而隐式地避免未来可能的轨迹冲突】

（iii）前馈交互（Feedforward Interaction）：本文方法进一步以一种前馈的方式，使用观测交互特征来更新未来交互特征，这一步使得历史信息与未来信息之间的传播形成了闭环。通过下述方式得到前馈交互特征：$f_i^f=T^{(3)}(f_i^u,o_j,\Delta p_{ij},{\theta }_{ij}),\forall j\in G_{a2a}^i$。

最终，给定一个代理$agen{t}_i$，将它的经过更新的前馈交互特征$f_i^f$与观测交互特征相加，从而得到了每一个代理的跨时域融合特征（cross-temporal fusion features）：

$f_i=o_i+f_i^f$

Global Fusion

本文方法使用了一种简单的全局融合模块，来将上下文特征传播给每一个代理的跨时域融合特征，上下文特征的引入使得可以根据每一个代理的特征得到更恰当的轨迹预测结果。

具体来说，将观测时刻的车道特征$o_{\xi }$以及跨时域融合特征$f_i$为例，使用与观测交互模块相同的网络结构（L2A），得到：$g_i=T(f_i,o_{\xi },\Delta p_{i\xi },{\theta }_{i\xi }),\forall \xi \in G_{l2a}^i$。所得的$g_i$是每一个代理最终的特征。

Final Prediction

以最终得到的代理特征$g_i$为输入，最终的预测器可以在单个前向传播中生成代理经过标准化的多模态轨迹。

具体来说，为了能够得到$K$条可能的未来轨迹，及轨迹对应的概率，本文方法为预测头（prediction head）配备了$K$个回归头（regression branch）和一个分类头（classification branch）。该过程可以描述如下：

${\hat{p}}_i^k=ML{P}^3(g_i)$
$s_i^k=ML{P}^3(ML{P}^4({\hat{p}}_i^{k,T_p}),g_i)$

其中${\hat{p}}_i^{k,T_p}$和$s_i^k$表示的是代理$i$第$k^{th}$条轨迹的终点以及轨迹对应的分数（confidence score）。

Model Training

以现有的双阶段的基于目标的运动预测框架不同，FFINet在单次前向传播的过程中获得初始的轨迹预测以及最终经过改进的轨迹预测。因此，在模型训练的过程中，会同时对最初轨迹预测误差以及最终轨迹预测误差进行计算。具体来说，本文方法使用Smooth $l_1$损失$L_{reg}^c$来度量最初轨迹预测与Ground Truth之间的距离误差【需要注意的是，上文已经提到，最初轨迹预测的结果是只给出一条可能的未来轨迹，而不是给出最终的多模态轨迹】。而对于最终的多模态轨迹预测，本文方法使用Winner-Takes-All（WTA）策略，只对预测结果最好的那条轨迹的损失进行反向传播。此外，本文方法在所有未来预测时刻上都是用回归损失$L_{loss}$来度量误差，使用Smooth $l_1$损失来计算轨迹终点的损失，使用max-margin loss来计算分类损失$L_{cls}$。

训练阶段总的损失$L$可以表示如下：

$L=L_{reg}+\lambda L_{end}+\beta L_{cls}+\gamma L_{reg}^c$

其中$\lambda ,\beta ,\gamma$是三个权重常数。

回归损失可以被表示为：

$L_{reg}=\frac{1}{M{T}_p}{\sum }_{i=1}^M{\sum }_{t=T+1}^{T+T_p}reg(p_i^{k,t}-p_i^{\ast ,t})$

其中$M$是代理的数量。$T_p$是预测的时间步长。$p_i^{k,t}$是代理$i$预测的第$k$个模式在时刻$t$的位置。$p_i^{\ast ,t}$是代理$i$在时刻$t$轨迹的Ground Truth坐标。$reg(x)$指的是Smooth $l_1$ loss。

Conclusion

本文提出了一种新颖的框架，名为FFINet，用于自动驾驶运动预测。在FFINet中，当前时刻、历史观测时刻以及未来交互的特征被有效地进行了融合，用于进行代理的多模态轨迹预测。

基于当前时刻融合模块（current fusion module），FFINet强调了当前时刻场景的拓扑信息，它进一步提升了轨迹预测的性能。此外，未来反馈模块会对未来交互特征进行提取，并将代理可能的未来交互反馈给观测交互特征，它显著地降低了多代理联合预测场景中的碰撞率（collision rate）。未来反馈模块可以提高模型在运动预测任务上的性能，并进行合理的路径规划。

在Argoverse 1/2上的实验结果表明，FFINet在单代理和多代理预测任务上的表现超过了大多数的SOTA方法。此外，本文提出的即插即用的相对交互模块（Relative Interaction Block）可以轻松地插入到其它模型当中，用于对交互进行建模。【实际上FFINet当中提出的Relative Interaction Block是一种图神经网络，在完成邻域结点传递给目标结点的Message的构造之后，对Message进行Aggregate，并使用聚合的邻域消息和目标结点自身当前的特征来对目标结点的特征进行更新】

尽管FFINet通过使用目标代理在当前位置的坐标和航向作为坐标系中心，得到了很好的结果，但FFINet仅仅具有针对场景数据的旋转不变性【因为本文方法显式地使用每一个代理最后一个观测时刻的位置向量对观测时刻的位置向量进行旋转，并使用目标代理在最后一个观测时刻的位置向量对全局向量进行标准化，因此模型对场景具有旋转不变性。即无论场景如何旋转，经过数据预处理的场景都是相同的，这与HiVT当中的思路基本一致】，而缺少针对场景数据的平移不变性【因为FFINet当中仍然保留了当前时刻的绝对位置，当绝对位置发生平移的时候，由于缺少平移不变性，模型不能够从数据中学习到有关平移的归纳偏置，比如某个代理从$(0,0)\to (0,5)$，与$(100,100)\to (100,105)$应该是发生了相同的位移，但是由于模型不具有平移不变性，模型会将这两种输入归纳为不同的类型】。据作者所知，如场景平移以及轨迹放缩等数据增强的方法可以在一定程度上对缺少平移不变性的问题进行缓解。作者将会在未来的工作中为FFINet引入平移不变性。