BoT-SORT: Robust Associations Multi-Pedestrian Tracking

一、创新点：1.在Bytetrack的基础上，添加了一个相机运动补偿，使得基于检测器的跟踪器性能得以提升。2.更有效地IOU和Re-ID的融合的方法，使得检测和轨迹之间的关联更robost。

二、架构：

在本节中，我们提出了对基于多目标跟踪的检测跟踪方法的三个主要改进。

1.卡尔曼过滤器：采用8维向量来描述特征。初始的为：

改为：。最终效果是HOTA得到提升。作者猜想是因为改进后的KF形成的边界框更为贴合目标的宽度。

2.相机运动补偿：由于缺乏相机运动的额外数据(例如导航，IMU等)或相机固有矩阵，两个相邻帧之间的图像配准是相机在图像平面上的刚性运动投影的良好近似。我们遵循OpenCV[7]中使用的全局运动补偿(GMC)技术实现具有仿射变换的视频防抖模块。这种图像配准方法适合于显示背景运动。首先提取图像关键点[39]，然后利用稀疏光流[6]进行特征跟踪，并剔除基于平移的局部异常值。后面的看论文。主要讲的是相机运动怎么计算实现的。

最后有实验证明CMC的有效性：

 

3. IoU - Re-ID Fusion

代价函数C：

 由于外观特征容易受拥挤、遮挡等影响，所以此处只考虑置信度高的检测。体现的地方是的取值和C的取值。当两者都小于临界值的时候，就会选择两种的结合形式。当其他情况时，取值为1，自然C的取值为。

 其中是预测的边界框i与检测框j之间的距离。是某个轨迹中的平均外观描述i和新的检测描述j之间的一个cosine距离。iou的临界值选的是0.5.cos的临界值选的是0.25，理由为了区分which is used to separate positive association of tracklet appearance states and detections embedding vectors from the negatives ones如图所示：