Multiple Object Tracking with Mixture Density Networks for Trajectory Estimation 详细解读

简介（abstract）

MOT面临的许多挑战都是由trajectory information不足导致的。所以如果predict posterior location 非常准确的话，则可以解决如re-id，遮挡等问题。所以本算法使用trajectory estimation辅以现有的SOTA跟踪算法，显著地提升了跟踪结果。这个trajectory estimator是由一个recurrent mixture density networks构成的。

介绍（introduction）

简单来说预测下一时刻的位置对MOT来说是一个非常重要的步骤，如果预测的准确，则可以提高track association的性能，以及减少Ids。

实际上现在有很多的的传统方法被用来predict the position of an object。比如，kalman filter（SORT），光流法，甚至最简单的匀速假设。但以上方法，都或多或少有一定缺陷，或者说效果不够好。所以我们提出了用一个recurrent mixture density network来predict position。

其他的内容，论文就说了他做了各种对比实验之类的，证明了他的这个新方法，最好。并且和当时SOTA的MOT算法CenterTrack和Tracktor结合，得到了更好的结果，更新了SOTA指标。

论文贡献：

1. 证明了trajectory estimation是提升MOT性能的关键。（似乎这不是共识么~）
2. 构建了一个RNN网络base on the mixture density networks，用来estimate trajectory，且效果当时为SOTA。
3. 结合上诉的RNN网络和cententrack，提高了SOTA指标。得到一个新SOTA算法。

相关工作（Related Work）

就常规的介绍MOT领域的进展，新入坑的同学，自己google哈，不详述了。

分两部分：

1. MOT
2. Trajectory Estimation

轨迹预测（Trajectory Estimation）

如图所示，（图目前是挂了），此轨迹预测模型使用了recurrent mixture density network。模型输出结果是几个高斯函数的参数，最后的分布是这几个高斯函数的集合分布。当得到分布后，算法会对分布进行采样，得到一系列的可能位置。

Mixture Density Networks（MDNs）

简单来说如果只预测一个偏移值，信息量是不够的，且不好预测。同时会有很多限制信息，所以结果不会好。

所以选择预测分布来改善这种情况。论文里也没说为什么，只是给了本书，说里边讲了。我看了下那本书80页，也就放弃了。

mixture density mode可以预测分布的参数，比较合适，所以选择了MDNs，他结合了cnn网络和一个mixture density model。

后边就是详细结束了各个参数如何设置的，就不详述了，都是公式而已。同时也给了loss的设置。如果确认复现，我会再填到这里。

后边还讲了，后续采样时，还会加一个bias，结果会更好一点，也做了实验证明，效果会更好。

Trajectory Estimation with MDNs

主要讲述了预测trajectory，需要有历史信息，所以就RNN就很适合，所以模型还结合了RNN网络。还介绍说预测偏移比直接预测位置更好，训练网络也更容易。所以最后预测了offse的分布。

后边讲了具体的网络模型参数和Beam search的使用。没有详细展开，都直接说哪里证明了。

Multiple Object Tracking using MDNs

主要讲了如何和现有的网络结合，以及结果怎么样。后续如果确认要复现，再详细的解读。

Experiments

肯定我们的算法最好啦~