讲

**流引导扭曲。**如[49]所示，给定参考帧Ii和相邻帧Ij，流网络F（例如，FlowNet [8]）估计流场Mi→j = F（Ii，Ij）。
根据流将相邻帧上的特征映射扭曲到参考帧。扭曲函数定义为

其中W（·）是在特征映射中为每条通道应用于所有位置的双线性扭曲函数，并且fj→i表示从帧j到帧i扭曲的特征映射。

**功能聚合。**在特征扭曲之后，参考帧累积来自附近帧（包括其自身）的多个特征映射。这些特征图谱提供了目标实例的各种信息（例如，变化的照明/视点/姿势/非刚性变形）。对于聚合，我们在不同的空间位置使用不同的权重，并让所有特征通道共享相同的空间权重。用于扭曲特征fj→i的2维权重图表示为 wj→i。然后获得参考帧¯fi处的聚合特征

其中K指定用于聚合的相邻帧的范围（默认K = 10）。等式（2）类似于注意力模型的公式[32]，其中将不同的权重分配给存储缓冲器中的特征。
然后将聚合特征¯fi馈送到检测子网络中以获得结果，

与基线和先前的盒级方法相比，我们的方法在产生最终检测结果之前聚合来自多个帧的信息。

**自适应权重。**自适应权重指示所有缓冲帧[Ii-K，…，Ii+K]对于每个空间位置处的参考帧Ii的重要性。
我们估计权重：

其中fe = ε（f）表示用于相似性测量的嵌入特征，并且对于附近帧上的每个空间位置p，权重wj→i被归一化，

可以将权重估计视为嵌入特征之间的余弦相似性通过SoftMax操作的过程。

代码：https://github.com/msracver/Flow-Guided-Feature-Aggregation