mot数据集_谈谈ReID与MOT的关系

1.ReID与MOT的联系

在MOT任务中，一般常用的特征模型有运动模型和表观模型，其中表观模型以行人重识别(ReID)类算法为主流。Re-ID任务主要解决的是跨摄像头场景下行人的识别与检索，其中存在给定了身份的图片序列query，需要为不同摄像头场景下的多组图片gallery的行人身份进行判定。

随着现在视觉任务需求的增加，车辆重识别任务也随之诞生，包括与之对应的数据集。对于多目标跟踪任务而言，由于目前只有行人和车辆的标注，所以基本只针对这两类目标，不过最近出来一个833类的多目标跟踪数据集TAO。以行人为例，多目标跟踪相对于Re-ID多出了空间位置信息和时间联系，其更多的是针对的同一摄像头场景，还包括可能出现的相机运动。除此之外，对于Re-ID任务而言，其不需要考虑新身份的诞生和旧身份的消失，所有目标在query中一般都有对应的身份，而MOT任务中需要判定是否有可能不存在现有跟踪轨迹中，是否需要与已经丢失跟踪轨迹身份进行匹配等等，二者的异同总结如下：

其中，目标序列严格对称的意思是指的待比对的两个序列中，目标的id是否一致，如果不一致，则表明两个序列各自可能存在新的目标。

借鉴这个问题里面的回答行人重识别（re-ID）与跟踪（tracking）有什么区别

我们可以看到ReID是一个相对底层的任务，随着检测、时序信息的加入，就可以拓展至行人检索和视频ReID任务，再引入MOT则可以得到更为高层的任务MTMC（跨摄像头多目标跟踪）。实际上ReID只是个任务名，我们不要将其具象化成了某一类数据集或者某一类深度框架，我们甚至可以直接用传统的图像特征来应用于这个任务，关键要看这个任务的定义。

2.MOT/MTMC中的ReID框架设计

2.1 DeepCC

论文题目： Features for multi-target multi-camera tracking and re-identification
作者：Ergys Ristani，Carlo Tomasi
备注信息：CVPR2018
论文链接： https:// arxiv.org/pdf/1803.1085 9.pdf
代码链接： https:// github.com/SamvitJ/Duke -DeepCC

考虑到MOT和MTMC在表征模型方面的相似性，我们一并介绍。DeepCC是MTMC领域的一篇经典论文，我们可以先看看MTMC的基础流程：

给定多个摄像头的视频流，由检测器得到所有的观测行人信息，通过提取每个人的特征对每个行人进行关联匹配/聚类，最后通过后处理进行完善。这篇论文主要做的是ReID任务在MTMC任务上的适配，其