SORT是一种TBD范式的精简实现,主要针对在线跟踪,即仅将前一帧和当前帧的检测呈现给跟踪器,提出了将卡尔曼滤波器和匈牙利算法相结合的思想,包含由检测、将对象状态传播到未来帧、将当前检测与现有对象数据关联,以及管理跟踪对象的存在周期等关键组件,尽管该算法于2016年提出,但在2024年的今天依旧有很大意义
卡尔曼滤波器:使用上一时刻的最优结果预测当前时刻的值,同时使用当前时刻观测值修正当前值,得到当前时刻最优结果。分为预测和更新两个部分
匈牙利算法:将前一帧与当前帧中的识别信息进行关联计算距离进行匹配,可以在图论场景下理解
1、检测
SORT采用FrRCNN检测框架,FRRCNN是一个端到端(end-to-end)框架,由两个阶段组成。第一阶段提取特征并为第二阶段提出区域,第二阶段在提出的区域中对目标进行分类。该框架的优点是在两个阶段之间共享参数,从而创建有效的检测框架
2、估计模型
将目标身份传播到下一帧的外观和运动模型
用一个独立于其他物体和摄像机运动的线性等速模型来近似每个物体的帧间位移。每个目标的状态建模为:
分别表示目标中心的水平和垂直像素位置,s和r分别表示目标边界框的比例(面积)和纵横比。(注意:宽高比被认为是恒定的)。
所以最终考虑检测框的水平速度、竖直速度和大小变化速度
当检测与目标相数据关联时,检测到的边界框用于更新目标状态,其中速度分量通过卡尔曼滤波框架进行最优求解。如果没有与目标相关的检测,则使用线性速度模型简单地预测其状态,而不进行校正
3、数据关联
在为现有目标分配检测时,通过预测目标在当前帧中的新位置来估计目标的边界盒几何形状。然后将分配代价矩阵计算每个检测与所有来自现有目标的预测边界框之间的IOU距离。使用匈牙利算法最优地解决了分配问题
4、结论
SORT为工程领域提供了简单却实用的算法,具有很大意义