文献来源
一、什么是MOTSFusion?
利用目标轨迹进行三维重建,再利用重建来改进跟踪效果的多目标跟踪算法。
本文贡献:
1.提出了一个能进行长期跟踪的算法,利用动态3D物体重建来完成对长期遮挡的目标的跟踪。
2.提出的算法能从3D重建中获得目标的3D运动信息,从中恢复漏检的目标。
3.通过实验验证了算法的有效性
二、为什么提出MOTSFusion?
多目标跟踪算法,既要能在目标连续存在的帧中跟踪目标,也要在物体因遮挡而不可见的长时期内跟踪目标。但目前很多算法大多专注于前者,当目标长时间地消失或者被遮挡的时候,这些算法的跟踪效果就大打折扣了。所以本文提出了利用三维重建来帮助跟踪目标,以应对遮挡和恢复丢失的目标,改善长期跟踪结果。
三、怎么实现MOTSFusion?
算法流程图:
算法结构:
1)输入
本算法使用视频、每帧摄像机的自主运动(ego-motion)和深度估计作为输入。在本算法的实验中,深度估计使用的是DispNet3估计的空间深度信息,自主运动估计来自一个SLAM算法,目标检测算法使用RRC和Track R-CNN网络,光流算法使用此算法。这些算法也可以换别的算法,灵活性比较大。
2)bounding box到分割掩码
估计每个检测出来的bounding box的分割掩码。利用BB2SegNet,使用一个卷积神经网络来裁剪调整bounding