MOT Metrics—MOTA vs IDF1？

多目标跟踪中有及其庞杂的性能指标，可以参考这篇博客，其中有两个重要指标：MOTA和IDF1，那么这两个指标侧重点如何？（参考：https://zhuanlan.zhihu.com/p/35391826）

• MOTA综合考虑轨迹中的FN、FP、IDSW的现象（即虚检、漏检、ID交换）
  
• IDF1则是综合考虑IDP和IDR（综合ID准确率和ID召回率）
  
  
  值得注意的是，与MOTA不同的是，IDF1中的TP、FP、FN这些指标，是考虑进ID信息的，而MOTA中仅IDSW项考虑了ID信息。从这个角度讲，IDF1对轨迹中ID信息的准确性更敏感

比如下面这段10帧的gt和两段track（假设对应框bbox都完美对应，这里仅显示ID信息）
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-2-2-3-3-4-4-5-5
track2：1-1-2-2-1-1-2-2-1-1
其MOT指标计算结果如下：

可以发现，两段轨迹的MOTA都为60%，而IDF1有明显区别。通过查看具体指标可以发现，两段轨迹FP、FN、IDs相同，而idtp、idfp、idfn不同，从而导致MOTA相同而IDF1不同。或者说，track2的IDP和IDR是明显优于track1的，但这无法在MOTA中体现出来~

不过，我们也不能忽视MOTA的作用，因为IDF1虽然承载了丰富的ID信息，但是无法体现出IDSW的问题，比如下面这个例子：
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-1-1-1-1-2-2-2-2
track2：1-1-2-2-1-1-2-2-1-1

我们可以发现，两段轨迹的IDF1相同，而track1比track2的MOTA高，因为MOTA中的IDSW指标能体现轨迹ID的稳定性~

不过我个人还是更青睐IDF1~