多目标追踪相关 + reid

1. 多目标跟踪的目的就是将每个目标和其他目标进行区分开来，具体方法是给每个目标分配一个ID，并记录他们的轨迹。
2. 和目标检测的最大区别：仅仅使用目标检测无法给对象分配ID，并且多目标跟踪算法能够优化轨迹，能让目标框更加稳定。
3. 多目标跟踪中一个比较经典的和深度学习结合比较好的方法就是Detection Based Tracking，对前后两帧进行目标检测，然后根据得到的前后两帧的所有目标进行匹配，从而维持ID。初学者接触比较多的就是SORT和Deep SORT算法了。

Tracking by detection:

• We will focus on algorithms where a set of detections is provided(rememnber detections are not perfect)
• Find detections that match and form a trajectory.
  

Online vs. offline tracking

• Online tracking:
• processes two frames at a time
• for real-time applications
• prone to drifting ➡️ hard to recover from errors or occlusions
• Offline tracking:
• processes a batch of frames
• good to recover fro occlusions(short ones as well as well see)
• not suitable for video analysis

Online tracking

1. Track initialization(e.g. using a detector)
   deep learning has provided us with better detectors

2. prediction of the next position(motion model)
   trajectory prediction
   classic: Kalman filter

3. matching predictions with detections(apearance model)
   improving appearance models ➡️ re-identification(in a few slides)
   matching still happens separately from learning.➡️ mot as a graph problem
   bipartite matching
   — solve the unique assignments that minimize the total cost
   

making detectors as tracktors
cons: there is no notion of “identity” in the model - confusion in crowded spaces
cons: as any online tracker, the track is killed if the target becomes occluded - need to close small gaps and occulsions
solution: Re-ID

cons: the regressor only shifts the box by a small quantity - large camera motions - large displacements due to low framerate
solution: Motion model

modeling appearance. ------->. re-id
modeling motion ------- motion model

---

Re-ID

similarity learning
triplet loss alows us to learn a ranking

行人重识别系统：

1. feature extraction：学习能够应对在不同摄像头下行人变化的特征
2. metric learning：将学习到的特征映射到新的空间使相同的人更近不同的人更远
3. matching：根据图片特征之间的距离排序，返回检索结果

数据集

• 通过人工标注或者检测算法得到的行人图片
• 数据集分为训练集，验证集，query以及gallery
• 在训练集上进行模型的训练，得到模型后对query与gallery中的图片特征提取特征计算相似度，对于每个query在gallery中找出前N个与其相似的图片
• 训练，测试中人物身份不重复

基于深度学习的行人重识别

• 表征学习：没有直接在训练网络的时候考虑图片间的相似度，而是把行人重识别任务当作分类问题或者验证问题来看待
• 度量学习：在通过网络学习出两张图片的相似度，表现为同一行人的不同图片间的相似度大于不同行人的不同图片

全局特征

局部特征：

• part：是指通过一定规则（例如姿态点信息）手工设置的一些矩形框区域
• attention：是指（在一定的约束条件下）网络自动学习出的比较重要的任意形状区域

---

MOT中的评价指标

评价出发点：

• 所有出现的目标需要及时能够找到
• 目标位置要尽可能与真实目标一致
• 每个目标都给分配一个unique ID，并且这个ID在整个序列中保持不变

评价指标数学模型：
参考：多摄像头多目标追踪指标

1. 建立 目标与假设最优间的最优一一对应关系，称为correspondence
2. 对所有的correspondence，计算位置偏移误差
3. 累积结构误差 a. 计算漏检数 b. 计算虚警数（不存在目标却判断为目标） c. 跟踪目标发生跳变的次数

1. MOTA(Multiple object tracking accuracy)
   
   FN，FP，IDSW，GT分别为false negtive, false positive, id switch以及gound truth的物体数量
   MOTA主要考虑的是tracking中所有对象匹配错误，主要是FP,FN,IDs. MOTA给出的是非常直观的衡量跟踪其在检测物体和保持轨迹时的性能（仅仅考虑跟踪器出错的次数），与目标检测精度无关。

2. MOTP(Multiple Object Tracking Precision)
   

d为检测目标和i给它分配的ground truth之间在所有帧中的平均度量距离

使用bonding box的overlap rate来进行度量（在这里MOTP是越大越好，但对于使用欧氏距离进行度量的就是MOTP越小越好，这主要取决于度量距离d的定义方式）；而c为在当前帧匹配成功的数目。MOTP主要量化检测器的定位精度，几乎不包含与跟踪器实际性能相关的信息。

3. MT(Mostly Tracked)
   满足Ground Truth至少在80%的时间内都匹配成功的track，在所有追踪目标中所占的比例。注意这里的MT和ML与当前track的ID是否发生变化无关，只要Ground Truth与目标匹配上即可。

4. ML(Mostly Lost)
   满足Ground Truth在小于20%的时间内匹配成功的track，在所有追踪目标中所占的比例

5. ID Switch
   Ground Truth所分配的ID发生变化的次数

6. FP (False Positive)
   当前帧预测的track和detection没有匹配上，将错误预测的track点称为FP，如图1所示。是否匹配成功与匹配时所设置的阈值有关。

7. FN (False Negative)
   当前帧预测的track和detection没有匹配上，将未被匹配的ground truth点称为FN（也可以称为Miss）

8. ID scores
   MOTA的主要问题是仅仅考虑跟踪器出错的次数，但是有一些场景（比如航空场景）更加关注一个跟踪器是否尽可能长的跟踪一个目标。这个问题通过构建二分图来解决，主要计算对象是IDTP、IDFP、IDFN。