2D/3D MOT调研总结及归纳

两种主流方式

• Re-ID+Kalman过滤器（预测、更新）+匈牙利算法
• GNN方法

基本步骤

①检测 ②特征提取、运动预测 ③相似度计算 ④数据关联

1. 检测：上游框架，检测质量对追踪质量的影响最大
   检测用于计算车辆/行人之间的特征，区分前景和背景
2. 特征提取，运动预测：第t帧识别结果和前t-1帧轨迹特征的提取，包括运动特征和表观特征两种
   • 运动特征：匀速运动模型、LSTM(轨迹预测)&MLP(第t帧)
   • 表观特征：Re-ID(行人重识别)、CNN、光流
   • 运动预测：Kalman滤波、联合概率数据关联、GNN节点消息传递
   • 2D特征与3D特征的融合
3. 相似度计算：分别计算detection和tracking的运动相似度和表观相似度，再将它们以某种方式融合起来得到最终的相似度矩阵
   • IoU、欧氏距离、余弦距离、马氏距离、网络回归
4. 数据关联：根据相似度矩阵（代价矩阵）得到最终匹配结果，二部图匹配问题
   • 基于IoU的贪婪匹配，只使用运动模型，IoU作为代价矩阵进行贪婪匹配
     • 全局最优、局部最优
   • 匈牙利算法/KM算法
   • GNN

算法

SORT：最base的算法，用于2D追踪</