多目标跟踪MOT——对ByteTrack算法的一些理解

1.前言

    多目标跟踪，既MOT(Multiple Object Tracking)，它一般由检测器模块和数据关联模块两个模块组成，它的作用是在事先不知道目标情况的前提下，对视频中用户感兴趣的目标，如行人、汽车、动物等进行检测并赋予ID进行轨迹跟踪的技术。
    大多数方法通过关联分数高于阈值的检测框来获取标识。检测分数低的物体，例如被遮挡的物体，被简单地扔掉，这会带来不可忽视的真实物体缺失和碎片化的轨迹。基于此背景，论文《ByteTrack: Multi-Object Tracking by Associating Every Detection Box》中提出了一个基于目标检测（Tracking-by-detection）的多目标跟踪模型-ByteTrack，通过关联每个检测框而不是仅关联高分检测框来进行跟踪。对于低分检测框，我们利用它们与轨迹的相似性来恢复真实对象并过滤掉背景检测。论文里着重介绍了一个数据关联模型-Byte，但它并没有提出一个新的检测器模块，使用了YOLOX作为它的检测器模块。
    
文章地址：https://arxiv.org/pdf/2110.06864.pdf
代码地址：https://github.com/ifzhang/ByteTrack

2.检测器模块

    ByteTrack模型使用YOLOX作为检测器模块，YOLOX是2021年提出的高性能检测器，YOLOX将YOLO系列探测器切换到了无锚模式，而且采用了其他先进的检测技术，包括去耦头、强数据增强、多阳性和有效的标签分配策略Simota，以实现先进的目标检测性能，网络结构图如图所示，这里不介绍太多。
文章地址：https://arxiv.org/abs/2107.08430

3.数据关联模块

    数据关联模块是多目标跟踪模型的核心，它首先计算轨迹和检测盒之间的相似度，然后根据相似度采用不同的策略进行匹配，BYTE方法与以往的只保留高分检测盒的数据关联方法不同，它几乎保留了每个检测框，并将其分为高分检测框和低分检测框。它首先将高分检测框与现有的轨迹相关联。一些轨迹不匹配是因为它们与适当的高分检测框不匹配，这通常在发生遮挡、运动模糊或大小更改时发生。然后，它将低分检测框与这些不匹配的轨迹相关联，以恢复低分检测框中的对象，并同时滤除背景。
    BYTE的输入是视频序列V，以及对象检测器DET，检测分数阈值τ，它的输出是视频的轨迹T，每个轨迹包含每个帧中对象的包围盒和标识。
    1）对于视频中的每一帧，首先使用检测器DET获得检测框和分数，然后根据检测分数阈值τ将所有的检测框分为DHigh和DLow两部分。对于得分高于τ的检测框放入高分检测箱DHigh中，得分低于τ的检测框放入DLow中(算法1中的第3至13行)，然后采用卡尔曼滤波对每个轨迹的当前帧中的新位置进行预测(算法1中第14至16行)。
    2）对高分检测框DHigh和所有的轨迹(包括TLost)之间执行第一次关联。相似度可以通过检测框DHIGH和预测轨迹框之间的IOU或Re-ID特征距离来计算。然后，采用匈牙利算法完成基于相似度的匹配。未匹配的检测保存在Dremain中，未匹配的轨迹保存在Tremain中(算法1中的第17至19行)
    3）在第一次关联之后,对Dlow和Tremian执行第二次关联，关联过程跟第一次关联大体类似，但论文中指出，第二次关联时只单独使用IOU作为相似性，因为低分检测框通常包含严重的遮挡或运动模糊，并且外观特征不可靠。保留Tremain里未匹配的轨迹，删除DLow中所有未匹配的低分检测框，将它们视为背景。(算法1中的第20至21行)
    4）两次关联后，不匹配的轨迹将被删除。但是算法1中并没有介绍这些轨迹再生的过程，实际上第二次关联后剩下的未匹配的轨迹Tremain，将会被放入TLost中。对于TLost中的每个轨迹，只有当它存在超过30个帧时才会被删除。
    5）最后将会对Dremain里未匹配的高分检测框初始化为新的轨迹(算法1中的第23至25行)。每个单独帧的输出是当前帧中轨迹T的边界框和标识（不输出Tloost的框和身份）。
    
    注：个人理解认为，这里的轨迹即文章中的 “tracklet”，可以理解为已经被确定身份即赋予ID的检测，每对第 i 帧进行关联的时候，就是由第 i-1 帧（不一定是i-1帧，也可各几帧进行关联）中的轨迹与第i帧的检测进行关联，关联成功的检测即可被赋予ID即成为轨迹。

算法1如下：

    第 i 帧关联示意图。为了图像的简洁，我没有将Dremain区和Tremain区等画出来，建议在对上述算法1叙述中有初步理解以后再看示意图。

4.展示

    官方提供的运行demo展示。