行人跟踪POI论文理解

行人跟踪POI论文中Online tracker方法理解

论文POI: Multiple Object Tracking with High Performance Detection and Appearance Feature提出的Online tracker和offline tracker两种方法在2016 MOT数据集上实现了较好的性能，本博客学习了Online tracker方法。

Online tracker方法：高性能的行人检测+提取外观特征进行匹配追踪
行人追踪可以分为2部分：
（1）行人检测：该部分使用faster-rcnn检测行人，得到行人的检测框boxes
（2）追踪：过程如下图

1. 用GoogleNet对行人区域提取特征appearance features，训练该模型的loss有两部分，softmax loss（保证特征的可区分性）和triplet loss（保证同一个人的appearance features 之间的相似度高）
2. 计算检测到的区域detection与跟踪集tracklets里的行人之间的密切程度，即affinity。它可以分为3个部分：appearance affinity，motion affinity，shape affinity：
   
   因此，可以得到密切度矩阵：
   
3. 对tracklets中的每一个track计算它的追踪质量指标，通过阈值$\tau _{t}$，将跟踪集$T^{t-1}$分为高质量跟踪集$T_{high}^{t-1}$和低质量跟踪集$T_{low}^{t-1}$。
   下面是计算track的跟踪质量的公式，不能理解！！！
   
4. 通过Kuhn-Munkres算法找D与T之间的最优匹配。通过阈值$\tau _{a}$,判断是否匹配成功。先匹配$T_{high}^{t-1}$和D,再匹配
   $\left (T_{high}^{t-1}-T_{success}^{t-1} \right )\cup T_{low}^{t-1}$和$D-D_{success}$。得到$\left ( T_{success_{i}}^{t-1}, D^{t}_{success_{i}} \right), T_{fail}^{t-1}, D_{fail}^{t}$。
5. 更新跟踪集tracklets。更新可以分为3部分：
   $T_{1}^{t}=Average(T_{success_{i}}^{t-1}, D^{t}_{success_{i}} )$，就是匹配成功的detections；
   $T_{2}^{t}=Predict_Or_Remove(T_{fail}^{t-1},\tau _{m})$，若连续$\tau _{m}$帧，tracklets中的track都没有与D匹配上，就可以删掉；
   $T_{3}^{t}=Initialize(D_{fail}^{t})$，就是新出现的行人；
   因此，$T_{candidate}^{t}=T_{1}^{t} \cup T_{2}^{t} \cup T_{3}^{t}$