多目标跟踪-PaperReding

多目标跟踪思维导图

榜单	链接
nuscenes	https://www.nuscenes.org/tracking?externalData=all&mapData=all&modalities=Any
MOT-challenge	https://motchallenge.net/results/MOT20/

相关方向	简述	相关论文
端到端(End-to-End)		MOTRV1&V2 & MUTR3D & ChainedTracker
外观特征(ReID)		BoTReID
Unified Detect&ReID		JDE & FairMOT & CenterTrack & RetinaTrack
滤波器(Filter)		OC-SORT & Strong-SORT
数据关联(Data-Associate)		ByteTrackV1&V2
跟踪框架(Track-Fomulate)		DeepSort & BoT-SoRT & FairMOT & MOTR

场景	代表数据集	组合方案简述
固定相机场景		kalman filter + iou
Driving	KITTI、BDD100K、Waymo、MOT17	kalman filter + camera compensation（ECC、ORB、SuperPoint） + ReID(FairMOT、FastReID、UniTrack<直接使用>)
Low Frame rate	KITTI、BDD100K	learned model（CenterTrack、MOTR、P3AFormer、ReID< QDTrack >）
Uniform appearance and diverse motion	ByteDance	MOTR、OC-SORT

代码	链接	简述
DeepSort	https://github.com/ZQPei/deep_sort_pytorch	经典二阶段多目标跟踪范式，后续二阶段基本沿用该方法进行扩展升级，框架结合FastRCNN、ReID、卡尔曼和级联。
BOT-Sort-ReID	https://github.com/NirAharon/BOT-SORT	DeepSort范式的升级版本，整体框架基本不变，相关方法升级为YOLOX、FastReID、改进卡尔曼滤波(状态方程参数)、ByteTrack级联等，整体效果在MOTchallenge榜单中处于领先水平
JDE	https://github.com/Zhongdao/Towards-Realtime-MOT	首个“统一检测/外观特征模型”的方法，属于DeepSort范式级升级，将原有的reid模型和检测模型进行合并后续处理仍沿用deepsort范式，效果并不明显(存在回归任务冲突问题)，但属于框架级小创新。
FairMOT	https://github.com/ifzhang/FairMOT	沿用JDE的“统一检测/外观特征模型”的思路且进一步解决回归任务冲突问题，整体跟踪框架上与JDE类似，但效果明显提升
Chained-Tracker	https://github.com/pjl1995/CTracker	基于CNN的端到端目标跟踪模型，在FairMOT这类方法基础上进一步将检测、特征提取、数据关联任务集成到一个模型中，实现一阶段多目标跟踪，但效果较两阶段BOT-Sort相差较远
MOTRv1	https://github.com/megvii-research/MOTR	基于Transformer的端到端目标跟踪模型，提出了结合多帧训练的时态聚合网络来建模长程时态关系，进一步实现多目标跟踪范式的创新，创新性较强但效果还明显待提升。在DETR的基础上引入轨迹查询的概念。每个轨迹查询对对象的整个轨迹进行建模，被逐帧传输和更新，以无缝方式执行对象监测和跟踪。
MOTRv2	https://github.com/megvii-research/MOTRv2	基于Transformer的端到端目标跟踪模型，作者认为MOTR性能的不足原因在于JDT方法和数据关联过程有冲突，因此在MOTR的基础上将检测任务进行剥离，一个独立的检测模型+关联/轨迹管理模型的范式实现端到端多目标跟踪，针对deepsort范式中复杂的级联和航迹管理的复杂链路进行一步整合。效果上已与当前工业中常用的二阶段范式非常接近
MUTR3D	https://github.com/a1600012888/MUTR3D	首个基于BEV的多相机多目标跟踪框架MUTR3D，同系列的BEV框架方法还包括“BEV下的纯视觉目标检测-DETR3D”、“BEV下统一的多传感器融合框架-FUTR3D”。主要贡献包括：1、端到端：MUTR3D是第一个端到端的多相机3D多目标跟踪框架，避免了NMS，检测框关联，Re-ID等后处理步骤；2、3D track query。 MUTR3D通过3D track query来隐式地表示3D物体的运动轨迹。3、有效性：MUTR3D在nuScenes test set上实现了state-of-the-art结果。4、与之前方案不同在于，本方案为多视角多输入，且有实际落地案例

MOT应用–人流/车流统计、自动驾驶…

持续更新中…

2023

1、(Multisource-Date-Fusion)DFR-FastMOT: Detection Failure Resistant Tracker for Fast Multi-Object Tracking Based on Sensor Fusion

main contribution：
（1）、提出了采用代数范式融合2D&3D数据的方法，减少计算量。前融合，个人感觉不太实用。
abstract：
  持续的MOT研究是自动驾驶车辆在高度动态环境中安全行驶的必要条件。目标遮挡是MOT中一个总所周知的挑战，当前的MOT方法通过存储障碍物历史信息，例如目标轨迹，以实现在遮挡之后能够恢复目标轨迹。此外，为了节省内存和计算时间仅保存了短暂的历史信息。因此，在某些情况下，例如稍长时间遮挡，该类方法将会丢失轨迹。在本文中，提出了DFR-FastMOT方法，一个使用相机和激光雷达数据且采用代数范式实现目标关联和融合的新颖MOT方法。该方法提高了计算时间并且允许长期存储轨迹信息，可应对更多的遮挡场景。
motivation：

method：
comments：

2、(Date-Associate)C-BIoU: Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

abstract：
  本文针对多目标跟踪中目标不规则运动和难分辨外观问题提出了级联缓冲iou，即C-BIoU的跟踪方法。当障碍物的外观特征是不可靠的，并且不规则的运动导致几何特征很混乱时，常规的MOT方法可能没有较好的跟踪效果。为了解决这个问题，本文将C-BIoU跟踪器添加到缓冲池以扩展检测-跟踪的匹配空间，这将缓解障碍物不规则运动导致的两方面影响：一是可以直接匹配没有重叠区域的检测框，而是可以弥补运动偏差。此外，应用级联匹配去减少过度匹配的风险，先在一个小的缓冲区域内对已经存在的轨迹和当前帧障碍物进行匹配，再在一个大的缓冲区域内对仍未匹配的轨迹和目标进行匹配。尽管该方法简洁，但是CBIOU跟踪器的效果出乎意外的优异并且在运动不规律切外观特征不明显的MOT数据集中达到SOTA效果。
main contribution：
method：
1、MOT 的相似度平滑和几何平滑
  在MOT研究中，相似度平滑和几何平滑是跨帧关联的两个关键因素。通常一个目标的之前帧的外观特征与当前帧的外观特征应当具备高相似性，并且之前帧的定位加上运动估计后与当前定位应当比较接近。
在最近的研究中，外观特征在 常规 MOT任务中已经取得巨大成功。
2、
3、

comments：

3、(ReID)Simple Cues Lead to a Strong Multi-Object Tracker

abstract：
  
motivation：
main contribution：
  
method：
  
comments：
  

4、(ReID)Focus On Details: Online Multi-object Tracking with Diverse Fine-grained Representation

5、(End-to-End-Language-expression)Referring Multi-Object Tracking

6、(Kalman-Filter)OC-SORT: Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

main contribution：
  1、从分析和经验上认识到SORT存在三个局限性，状态估计对噪声非常敏感、误差会随时间累积、以估计为中心进行预测。
  2、基于遮挡和非线性运动问题提出OC-SORT跟踪器去解决SORT的局限性。
abstract：
   基于卡尔曼滤波的多目标跟踪假设目标是线性运动。尽管这个假设对短暂遮挡目标的运动估计是可接受的，但是对于长时间遮挡目标进行线性运动估计可能很不准确。此外，当没有用于更新卡尔曼滤波参数的观测值时，按照规范将会信赖之前的状态估计用于更新之后的状态。因此，一个短暂遮挡期将会导致误差累计，并且这个误差会明显导致估计的运动方向差异。在本工作中，我们证明了采用基本的卡尔曼滤波仍然能使跟踪性能达到SORT，只需要适当修复遮挡导致的噪声累计问题。本文使用目标观测值计算一个实际轨迹代替遮挡期估计以修复由于遮挡期导致的滤波参数累积误差问题。该工作被命名为Observation-Centric SORT(OC-SORT).
motivation
  开发一个对于遮挡和非线行运动鲁棒的用于多目标跟踪的运动模型。
  问题1、估计噪声：高帧率连续帧之间，物体位移的噪声可能与实际物体位移的大小相同，速度估计的方差可以与速度本身的大小相同，甚至更大。这种情况在观测值稳定存在情况下不会产生影响，但是若观测值丢失，误差将会被累积放大。

  问题2、误差累积：由于检测中目标的遮挡或非线性运动，当没有新的检测框与现有的轨迹匹配时，状态噪声会进一步累积。卡尔曼滤波器对位置估计的误差累积是时间的平方。

  问题3、以估计为中心：SORT依赖卡尔曼滤波器的估计进行更新，然而当前检测器的结果更稳定且准确，应该以检测结果为中心进行预测。针对短暂丢失目标的轨迹的重新关联。

method：
  针对上述三类问题提出三种解决算法：
  1、ORU：当一条丢失观测的轨迹$T_{lost}$一段时间后再次与观测相关联时，利用$T_{lost}$ 重新关联前的最后一帧观测值新建一条虚拟轨迹，同时使用匀速运动模型构建这条虚拟轨迹，利用虚拟轨迹的预测与当前的观测更新滤波器进行下一次预测。当出现遮挡时，卡尔曼滤波没有观测值的辅助会导致方差变大，利用虚拟轨迹对卡尔曼的预测进行修正。

**该点的目的是修正跟踪器的update模块中误差累积，即短暂丢失的那段时期会累积误差在轨迹再次被关联后，利用短暂丢失前的最后一帧观测与当前观测共同决定下一次预测结果。

  2、OCM：滤波器预测存在方向估计噪声，因此考虑在cost-matrix 计算中引入方向一致性<两个观测值之间的方向一致性>来避免滤波器带来的误差。相当于增加了一个惩罚项用于补偿噪声差异。
滤波器在进行运动估计时，会将运动状态近视为线性运动，同时使用时间差来确定目标状态，如果时间差t很小，则该估计对状态噪声非常敏感；当t较大时，由于时间误差放大，方向估计的噪声也可能很大。
$C_v()$

  3、OCR：以观察为中心的恢复，在正常关联阶段之后，OCR将开始尝试将未匹配的轨迹的最后一次观测与未匹配的观测相关联。这里的原因是担心短期遮挡后的预测框不准导致关联不上，所以在正常关联之后增加一次针对剩下的轨迹-目标且使用观察值-观察值的关联。

comments：
  总的来讲，就是一直在讨论轨迹在没有观测值时误差会被放大，且主要包括速度上误差和方向上误差，针对速度上误差采用ORU方法解决短暂丢失后噪声偏大预测不准；针对方向上误差，直接在cost-matrix计算中引入方向一致性惩罚项。最后由于预测误差的存在会导致观测值和预测值匹配不上的问题，那么在正常关联后再额外增加一次“观测-观测“的关联。个人感觉，针对bytetrack这种无法预估目标下一时刻运动方向的数据有效果，但针对车辆这种短暂时间内不会大幅度改变跟踪场景，并不一定有效果。

7、(Data-Associate)ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every Detection Box

main contribution：
  1、提出了统一的数据关联策略解决2D、3D MOT问题。
  2、提出了3D运动预测策略解决运动突变和目标消失的问题。
abstract：
   多目标跟踪主要目的在于估计检测框和辨别跨帧的目标。检测框是2D和3D跟踪的基础。然后检测分数不可避免的变化会导致跟踪目标的丢失。因此，本文提出一个分级数据关联策略在低分检测框集中挖掘正确的目标，这将缓解目标丢失和轨迹分裂的问题。简单通用的数据关联策略在2D和3D关联中效果明显。在3D场景中，跟踪器更容易预测目标在世界坐标系下的运动速度。本文提出了一个将检测速度与卡尔曼滤波速度合并的互补的运动预测策略去解决运动突变和目标短期消失的问题。
motivation
  为了解决由于滤除低分检测框而导致的检测丢失和轨迹分裂问题，提取一种由检测驱动的分层数据关联策略。<个人感觉：bytetrack的数据关联策略work的一部分原因是MOT16场景中存在大量的“目标遮挡”情况，当检测器统一以一个阈值对检测框置信度进行过滤是会导致很多被遮挡的目标被过滤掉，进而导致轨迹中断。>
  为了解决目标突然运动和短暂消失的问题，提出了一个互补的3D运动预测策略。
  之前的工作直接使用检测速度或者使用卡尔曼滤波对运动进行预测，然而由于缺少历史信息导致难以长期使用检测速度，另一方面卡尔曼滤波生成一个平滑运动预测作为它的历史信息。当存在无法预测的运动或低帧率时，预测精度将降低。提出一种将被检测物体于卡尔曼滤波相结合的互补运动预测方法，即利用检测速度进行短期<两帧>关联，卡尔曼滤波进行长期运动估计，这对突然运动更鲁棒。采用卡尔曼滤波为每条轨迹预测一个更平滑的定位信息，当短期遮挡时，卡尔曼滤波可以保持目标的位置预测且在目标再次出现时进行长期关联。

method：
  1、统一的数据关联策略，包括检测框集合、运动预测、高分检测框集关联、低分检测框集关联、轨迹新建。
（1）、设定检测框置信度阈值$a$，将所有检测框划分为高分检测框集$D_{high}$和低分检测框集$D_{low}$。
（2）、对于2D MOT 采用卡尔曼滤波进行运动预测；对于3D MOT采用所提“互补的3D运动预测策略”进行运动预测。
（3）、一级关联将对“高分检测框集$D_{high}$“与“所有轨迹“进行关联，相似度采用IOU、外观特征等特征进行计算。未被关联的轨迹、目标保存在$T_{remain}$ 和 $D_{remain}$中；二级关联对“低分检测框集$D_{low}$"和$T_{remain}$ 进行关联，由于低分检测框的外观特征不可靠，因此关联相似度仅使用IOU。未被关联的轨保存在$T_{r{e}_{r}emain}$且三处未被匹配的低分检测框。
（4）、关联之后，将$T_{r{e}_{r}emain}$中的轨迹标记为$T_{lost}$，当存在超过一个周期<如30帧>仍未发现新匹配将直接删除。此外对$D_{remain}$中未被匹配的检测框进行轨迹新建。

  2、互补的3D运动预测策略
    通过卡尔曼滤波对历史信息的状态更新建模平滑的长期速度；采用卡尔曼滤波实现正向预测，采用检测目标速度实现反向预测。反向预测负责活跃轨迹的短期关联，正向预测负责丢失轨迹的长期关联。
    （1）、对于当前$t$帧的目标$D_t$，根据检测速度对其分别在想$x$、$y$方向上进行反向预测得到$D_{t-1}$，如公式1。
    （2）、使用GIOU计算$D_{t-1}$和待匹配轨迹$T_{t-1}$相似度，如公式2；
    （3）、对于当前帧未被匹配但需要保留的轨迹，采用卡尔曼滤波进行预测，如公式3；




comments：
   本文在ByteTrack的基础上增加了3D运动预测策略，进一步在2d Mot的基础上增加对3DMOT的应用；其中3D运动预测策略直接利用预测的目标速度对当前帧目标的上一帧进行反向预测然后计算其与历史轨迹的相似度。个人理解是不需要卡尔曼所提供的历史信息来平滑预测，直接将预测缩减到两帧且只考虑速度，这里应该有个假设前提，即帧间隔级别的目标大小不会发生明显变化。所以如果考虑框的shape变化那还需要对shape也进行预测。此时卡尔曼滤波只起到对遮挡、漏检等目标框短期丢失情况的补充。
   可借鉴！！！

8、Collaborative Multi-Object Tracking with Conformal Uncertainty Propagation

9、 (End-to-End)MUTR3D: A Multi-camera Tracking Framework via 3D-2D Queries

多相机多目标跟踪
挑战：深度估计、视觉遮挡、外观模凌两可
主要贡献：引入3D轨迹查询，为出现在多相机和多帧重的每个障碍物建模空间和外观相关的轨迹。
使用相机转换将2d图像中的观测值关联到3d轨迹中

一个使用空间和外观相似度的端到端在线3D多相机多目标跟踪框架，使用3d track query 直接建模跨相机和时间的目标的3D状态和外观特征。

10、(ReID)Adaptive Sparse Pairwise Loss for Object Re-Identification

https://github.com/Astaxanthin/AdaSP

11、(End-to-End)MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained

论文笔记参考博客

main contribution：
  
abstract：
  
motivation
  
method：
  
comments：
  

12、(End-to-End)You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object Tracking

2022

1、MTracker: Robust Multi-Object Tracking by Marginal Inference

main contribution：
  将“外观相似度”转换为“边界概率”，以此实现一个更稳定的外观特征距离分布。
abstract：
  对于多目标跟踪问题，当前大多数方法都会首先丢弃特征距离大于阈值的关联对，然后再使用匈牙利算法对剩下的关联对进行匹配。然而本文发现在不同的视频中由 Reid 计算的特征距离存在显著差异，所以对于不同的视频并不存在一个用于丢弃不可能匹配对的稳定阈值。为了解决这个问题，本文提出了一个实时计算每个关联对“边界概率”方法以实现使用一个阈值应对所有的视频，其中“边界概率”可以看作是一个归一化距离。该方法具有通用性，可应用于现有的跟踪器，在IDF1指标方面可获得一个点的提升。下图分别展示了不同视频中已匹配关联对和未匹配关联对的“Reid 特征距离”分布和“边界概率”分布。

motivation
  解决“在不同域视频中因“特征距离”分布不同而不能适用同一个关联阈值”的问题。

method：
  1、边界概率概率算法
  2、跟踪算法：综合考虑外观、运动、定位信息，使用匈牙利算法实现级联匹配，级联分别为边界概率匹配和IoU匹配。
  （1）、首先对针对检测框的置信度定义两个阈值 $C_t$ 和 $C_d$，对于关联阈值设定两个阈值 $T_p$ 和 $T_{IoU}$。同时针对第一帧，对置信度大于$C_d$的检测框进行轨迹新建。
  （2）、第一级匹配通过计算检测框与卡尔曼滤波预测框的边界概率和马氏距离构建代价矩阵，其代价矩阵计算公式表示为：$D_p=\omega (1-P_t)+(1-\omega )M_t$，其中$\omega$=0.98。针对代价矩阵采用匈牙利进行匹配并将特征距离大于关联阈值$T_p$的匹配对进行剔除。
  （3）对于上述匹配过程中未匹配的检测框和轨迹，采用$T_{IoU}$ 关联阈值和匈牙利算法实现IoU匹配。
  （4）最后，对于未匹配的轨迹，对其进行标记并保留30帧。对于未匹配的检测框，如果其置信度大于 $C_t$ 将新建轨迹。同时对已匹配的轨迹的外观特征进行更新。
comments：
  本文主要贡献点在于对通常使用的外观特征余弦相似度进行归一化，避免特征差异对相似度分布产生影响，以使其在不同相机域中均能适配同一个关联阈值。

2、(End-to-End)Unicorn:Towards Grand Unification of Object Tracking

abstract：
main contribution：
method：
comments：

3、(Survey)Multiple Object Tracking in Recent Times: A Literature Review

4、(End-to-End)P3AFormer: Tracking Objects as Pixel-wise Distributions

5、(Track-Formulate)BoT-SORT: BoT-SORT: Robust Associations Multi-Pedestrian Tracking

code
main contribution：
  作者针对卡尔曼滤波次优估计、相机运动问题和指标权衡问题提出了新的追踪器，并整合到了ByteTrack。
  1、提出了一个结合IOU和ReID余弦相似度的分阶段关联方法。
  2、改进了相机运动补偿和卡尔曼滤波
  SORT类方法中的位置和外观信息可以看做MOTA（衡量追踪器的检测能力）和IDF1（衡量追踪器保持序列正确识别的能力）指标的权衡，即使用IoU有益于MOTA，使用Re-ID有益于IDF1。
abstract：
  MOT的目的是检测和跟踪当前场景中的所有目标，且对每个目标维持一个唯一的$id$。本文提出了一个新的更鲁邦的且能同时结合运动信息和外观特征SOTA跟踪器，同时还包括相机运动补偿和一个更准确的卡尔曼状态方程。
用于轨迹预测的运动模型和状态估计，通常选择卡尔曼滤波。关联新的观测目标和历史轨迹，两阶段a.仅使用IOU对预测值和观测值进行关联；b、运用ReID的外观特征模型，量化相似度并用于关联任务的全局分配。
method：
  1、跟踪 Pipeline
    通过整合ByteTrack提出了两个SORT跟踪器，BOT-SORT 和 BOT-SORT-ReID

  2、卡尔曼滤波器优化
    通过实验发现，滤波器直接估计bbox的长和宽比预估scale效果更好。

  3、相机运动补偿
（1）、首先提取图像的关键点用于特征跟踪，使用RANSAC构建相似度矩阵

  4、IOU-ReID融合
（1）、基于BOT提取目标外观特征，采用指数平均EMA更新当前帧外观特征状态。

(2)、外观特征只使用在高置信度目标上，并且不在使用原有的外观特征、运动信息加权求取代价矩阵方式，如EQ11。提出了一个新的结合运动和外观信息的方法：首先，低余弦相似度和IOU分数的待选框直接被舍弃；然后，使用iou和cos的最小值作为最终的代价矩阵分数。其中，${\theta }_{iou}$是距离阈值，设置为0.5，过滤距离轨迹较远的目标框，${\theta }_{emb}$外观相似度阈值，设定为0.25，根据ReID模型的正负样本距离分布设定。

comments：
  

6、(Data-Associate-Graph)SGT: Detection Recovery in Online Multi-Object Tracking with Sparse Graph Tracker

7、(Data-Associate-MCF)LPT: Learning of Global Objective for Network Flow in Multi-Object Tracking

8、(End-to-End)MeMOT: MeMOT: Multi-Object Tracking with Memory

9、(End-to-End)UTT: Unified Transformer Tracker for Object Tracking

10、(End-to-End)GTR: Global Tracking Transformers

11、(Track-Formulate)StrongSORT: StrongSORT: Make DeepSORT Great Again

12、(Data-Associate)MAA: Modelling Ambiguous Assignments for Multi-Person Tracking in Crowds

13、CrowdTrack: On the Performance of Crowd-Specific Detectors in Multi-Pedestrian Tracking

2021

1、EagerMOT: 3D Multi-Object Tracking via Sensor Fusion

abstract：
  
motivation
main contribution：
  
method：
  
comments：
  

2、SimpleTrack: Understanding and Rethinking 3D Multi-object Tracking

main contribution：
abstract：
  
motivation
  
method：
  
comments：
  

3、(End-to-End)Learning Spatio-Temporal Transformer for Visual Tracking（ICCV2021）

4、(End-to-End)LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search

5、(End-to-End)MOTR: End-to-End Multiple-Object Tracking with TRansformer

论文笔记参考博客

6、(End-to-End)Quasi-Dense Similarity Learning for Multiple Object Tracking

论文笔记参考博客

2020

1、ReMOTS: ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation

2、TransTrack: TransTrack: Multiple-Object Tracking with Transformer

3、TPAGT: Tracklets Predicting Based Adaptive Graph Tracking

4、MLT: Multiplex Labeling Graph for Near-Online Tracking in Crowded Scenes

5、GSDT: Joint Object Detection and Multi-Object Tracking with Graph Neural Networks

6、SMOT: Single-Shot Multi Object Tracking

7、CSTrack: Rethinking the competition between detection and ReID in Multi-Object Tracking

8、MAT: Motion-Aware Multi-Object Tracking

9、UnsupTrack: Simple Unsupervised Multi-Object Tracking

10、FairMOT: On the Fairness of Detection and Re-Identification in Multiple Object Tracking

11、DMM-Net: Simultaneous Detection and Tracking with Motion Modelling for Multiple Object Tracking

12、SoDA:Multi-Object Tracking with Soft Data Association

13、CTracker: Chained-Tracker: Chaining Paired Attentive Regression Results for End-to-End Joint Multiple-Object Detection and Tracking

14、MPNTracker: Learning a Neural Solver for Multiple Object Tracking

15、UMA: A Unified Object Motion and Affinity Model for Online Multi-Object Tracking

16、RetinaTrack: Online Single Stage Joint Detection and Tracking

17、TubeTK: Adopting Tubes to Track Multi-Object in a One-Step Training Model

18、CenterTrack: Tracking Objects as Points

19、Lif_T: Lifted Disjoint Paths with Application in Multiple Object Tracking

20、PointTrack: Segment as points for efficient online multi-object tracking and segmentation

21、PointTrack++: PointTrack++ for Effective Online Multi-Object Tracking and Segmentation

22、FFT: Multiple Object Tracking by Flowing and Fusing

23、MIFT: Refinements in Motion and Appearance for Online Multi-Object Tracking

24、EDA_GNN: Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking

25、GNMOT: Graph Networks for Multiple Object Tracking

2019

1、Tracktor/Tracktor++: Tracking without bells and whistles

2、DeepMOT: How To Train Your Deep Multi-Object Tracker

3、JDE: Towards Real-Time Multi-Object Tracking

4、MOTS: Multi-Object Tracking and Segmentation

5、FANTrack: 3D Multi-Object Tracking with Feature Association Network

6、FAMNet: Joint Learning of Feature, Affinity and Multi-dimensional Assignment for Online Multiple Object Tracking

2018

1、DeepCC：Features for Multi-Target Multi-Camera Tracking and Re-Identification

main contribution：
  提出了一个自适应权重triplet loss 和困难id挖掘方法
abstract：
method：
  1、外观特征学习
  对于anchor xa 的正样本为xp，副样本为xn，m为类别关系的分割边缘，d表明相似度距离

  1、改进：在trplet loss的基础上增加自适应权重
优势：
  （1）、使用所有样本而不是全部样本，避免三元组生成的组合过程（原始trplet通过样本挖掘的方式组合三元组）。作者认为学习好的特征是为了给正/负样本分配更大的权重。
  （2）、正/负样本不平衡可以通过类别分布使用权重调节
  （3）、生成 P/Ksampling 批次（随机抽取P个类/身份，每个人随机抽取K张图片，得到PK张图片的一个批次。）

  2、改进：选择困难 id，(主要挖掘困难样本)
    gallery 中的P一半随机选取，另一半从困难样本集中选取，其中困难样本集组成通过预训练模型或者小批次训练后模型挖掘

  3、数据增强
comments：

2、SADF：Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering

abstract：
  目标短暂遮挡和检测噪声回导致跟踪失败或者id switch，并且很难通过目标运动和形状信息去解决，因此，本文提出历史外观特征匹配和增加二阶段相似度网络方法去解决目标短暂遮挡或者最近轨迹匹配信息不可靠问题。

main contribution：
  1、提出历史外观特征匹配方法去解决模凌两可的匹配问题
  2、提出基于二阶段的相似度模型训练方法产出超过比单一数据集训练的性能更好的模型
  3、提出一个自适应判断检测置信度阈值方法，根据场景条件决定置信度阈值。

method
conclution

3、Robust Multi-Object Tracking by Marginal Inference

main contribution

4、MTMC tracker

Detector：
OpenPose person detector
Appearance Feature :
RseNet50(pre-trained on ImageNet) ,ouput 128 Dim feature
Data Augmentation:
crops & horizontal flips to compensate for detection localization error;
contrast normalization & grayscale & color multiplication for illumination invariance;
Gaussian blur of varying x for resolution invariance;
perspective transformations & small distortions for additional viewpoint invariance;
Motion Correlation
linear motion model to predictict motion correlation