TransTrack: Multiple Object Tracking with Transformer

摘要

TransTrack利用transformer架构，这是一种基于query-key机制多目标跟踪方法，就是通过前一帧的对象特征来跟踪当前帧的目标，并对当前帧进行对象检测，以检测新的对象。通过在一次拍摄中完成目标检测和目标关联，简化了检测+跟踪中复杂的多步设置，建立了一种新的联合检测和跟踪MOT范式。

所谓query-key机制，在单目标跟踪中经常被使用，即通过前一帧的对象特征来跟踪当前帧的目标。但是这种机制无法检测新的目标，所以很少用作多目标跟踪中。

其中图a是正常的检测+匹配的目标跟踪，即对相邻两帧的目标进行检测，获取两组检测框，再使用一些匹配算法匹配矩形框，最后获得跟踪轨迹。

图b就是基于query-key机制，在获得上一帧的目标特征信息后，将其与下一帧所有目标信息进行匹配，得出目标轨迹，但是这种算法会丢失新出现的目标如图c。

Joint-detection-and-tracking(联合检测和跟踪)

TransTrack利用当前帧检测框的预测和前一帧传递的信息，获得可靠的目标关联。有两组检测框。一组是在现有transformerbased detector预测出的框，另一组包含从上一帧对象的特征中生成的框。第一组框提供了一些新目标，而轨迹框提供了一致的目标信息来维护tracklet。TransTrack使用简单的IoU匹配从两组框中生成最终的有序目标集。如下图所示。

网络架构

TransTrack编码器将两个连续帧的合成特征映射作为输入。为了避免重复计算，将暂时保存当前帧的提取特征，然后重新用于下一帧。TransTrack采用了两个并行解码器。这两个解码器分别用于目标检测和轨迹跟踪。具体来说，一个解码器将当前帧作为输入，并预测检测框。另一个解码器将来自前一帧的目标特征作为输入，并预测当前帧上相应目标的位置。获得检测框和跟踪框后，TransTrack使用IoU匹配方法获得最终跟踪结果，如图所示。将卡尔曼滤波算法应用于检测框和跟踪框的IoU相似性，新的检测框被保留下来，以创建新的轨迹。

 损失函数