论文连接:Simple Online and Realtime Tracking with a Deep Association Metric
这篇论文是基于SORT的小改进,内容不多,这里简单介绍一下~
1. 概述
在原始 SORT 算法中,作者使用了很简单的设计,而本文 Deep SORT 算法是基于 SORT 的改良,主要针对 ID_SW 问题进行了算法改进。
- 特征描述:SORT 中使用 IOU 距离来描述关联问题中的关联损失,Deep SORT 则结合运动信息距离
d
1
d_1
d1和外观信息距离
d
2
d_2
d2,来提高算法性能;结合后的匹配损失 c =
λ
d
1
\lambda d_1
λd1 +
(
1
−
λ
)
d
2
(1-\lambda) d_2
(1−λ)d2
- 运动信息:计算检测框和Kalman预测框之间的马氏距离 d 1 d_1 d1;
- 外观信息:通过CNN在ReID上预训练来获得外观描述模型,计算 track 和 detection 之间的外观特征余弦距离,从中选最小的作为外观特征距离 d 2 d_2 d2;
- 级联匹配:只保留d1、d2 均大于一定阈值的关联,然后对 track 与 detection 进行关联;其中设置优先级:持续未被关联帧长度(Age)较小的 track 有更高优先级去关联;另外为了提高对外观信息突变的鲁棒性,在匹配的最后,对age=1的剩余 track 用 IOU Distance 再进行一次匹配;
- 其他:对于状态空间、运动模型、进场离场等方面的处理,和SORT相似,这里不再赘述。
设计思想:
- 运动信息:适用于短期预测
- 外观信息:有利于遮挡后的ID恢复
- 级联匹配:长期遮挡后的Kalman预测会有更大的不确定性,而马氏距离会不合理地缩小这种差距,所以引入优先级来解决这个问题
2. 总结
相比SORT,Deep SORT 确实显著改善了IDSW性能,不过也加剧了FP问题,因为引入了更丰富的关联策略。
(总结日常交给作者)