多相机多对象跟踪 MCMOT

Multi-camera multi-object tracking: A review of current trends and future advances
时间：2023.10
论文：https://www.sciencedirect.com/science/article/pii/S0925231223006811

一、现存问题

1. 外观剧烈变化

杂乱背景、非刚性变形、光照变化、长时间遮挡、阴影等，都可以使同一对象看起来不同，从而使对象跟踪成为困难

2. 相机重叠率

类别一：不同的摄像机对准同一场景，摄像机的视场FOV彼此完全重叠
类别二：由来自相机的图像组成，这些图像几乎不重叠或从不重叠

（左图表示 Overlapping multi-camera，右图表示 Non-overlapping multi-camera）

3. 不同运动方式
4. 摄像机视角变化

由于同一目标的外观、方向和尺度变化很大，因此很难在移动的摄像机上跟踪和关联同一目标的各种视图

5. 对象数与相机数未知
6. 数据关联

由于照明不均匀、长时间遮挡、摄像机之间缺乏时空约束等的可能性，数据关联变得更加复杂（与对象相关联的特征向量可以随着目标从室内位置移动到室外位置而显著地改变）

二、多相机系统方法

1. 两步层次法
   A. 估计网络内每个摄像机中所有目标的连续轨迹序列，即单摄像机多目标跟踪
   类别一：Online-based
   仅使用当前可用的信息来生成多个目标的精确轨迹
   类别二：Offline-based
   依赖于来自过去和未来帧的信息
   B. 利用对象重新识别算法执行每个目标轨迹在网络中跨不同摄像机移动时的匹配
   
   （相机间跟踪步骤通常严重依赖于相机内跟踪步骤的输出，意味着用于相机间跟踪的数据关联组件的性能由相机内跟踪模块的输出确定，这进而影响多目标多相机跟踪MTMCT系统整体性能）
2. 全局法

三、数据集

1. WILDTRACK
   使用七台固定摄像机在公共开放区域捕获，在有利的天气条件下在瑞士苏黎世联邦理工学院主楼前收集超过40，000个边界框，总共超过300人
2. MMPTRACK
   用23个高度校准的重叠相机在各种具有挑战性的室内环境中获得的多目标跟踪数据的综合集合包括超过9.6小时的视频片段，每个相机视图超过50万个注释帧