【论文笔记】Track to Reconstruct and Reconstruct to Track

文献来源

J. Luiten, T. Fischer and B. Leibe, “Track to Reconstruct and Reconstruct to Track,” in IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 1803-1810, April 2020, doi: 10.1109/LRA.2020.2969183.

一、什么是MOTSFusion？

利用目标轨迹进行三维重建，再利用重建来改进跟踪效果的多目标跟踪算法。

本文贡献：

1.提出了一个能进行长期跟踪的算法，利用动态3D物体重建来完成对长期遮挡的目标的跟踪。
2.提出的算法能从3D重建中获得目标的3D运动信息，从中恢复漏检的目标。
3.通过实验验证了算法的有效性

二、为什么提出MOTSFusion？

多目标跟踪算法，既要能在目标连续存在的帧中跟踪目标，也要在物体因遮挡而不可见的长时期内跟踪目标。但目前很多算法大多专注于前者，当目标长时间地消失或者被遮挡的时候，这些算法的跟踪效果就大打折扣了。所以本文提出了利用三维重建来帮助跟踪目标，以应对遮挡和恢复丢失的目标，改善长期跟踪结果。

三、怎么实现MOTSFusion？

算法流程图：

算法结构：

1）输入

本算法使用视频、每帧摄像机的自主运动(ego-motion)和深度估计作为输入。在本算法的实验中，深度估计使用的是DispNet3估计的空间深度信息，自主运动估计来自一个SLAM算法，目标检测算法使用RRC和Track R-CNN网络，光流算法使用此算法。这些算法也可以换别的算法，灵活性比较大。

2）bounding box到分割掩码

估计每个检测出来的bounding box的分割掩码。利用BB2SegNet,使用一个卷积神经网络来裁剪调整bounding