参考语言特征的多目标跟踪----RMOT(Referring Multi-Object Tracking)

最近看完了一篇关于有参考的多目标的文章，因此来写一些心得，既作为分享也作为自己的记录，如果有理解的不对的地方，希望大家能帮忙指出。
本文介绍的文章链接：https://arxiv.org/abs/2303.03366#:~:text=Existing%20referring%20understanding%20tasks%20tend%20to%20involve%20the,cue%20to%20guide%20the%20prediction%20of%20multi-object%20tracking.

1 基本介绍

本篇文章是cvpr2023年最新的文章，主要核心内容是通过语言特征来指导多目标跟踪。文章的主要贡献如下：

1. 提出了Referring Multi-Object Tracking的概念，即有参考的多目标跟踪。
2. 为RMOT建立了新的基准数据集----Reffer KITTI
3. 提出在ROMT上表现出色的框架----TranMOT

在下文中将主要对论文中的2、3点贡献详细介绍

2 reffer KITTI

为了加快 RMOT 的开发，作者构建了一个关于交通场景的新基准，即 Refer-KITTI。它是从公共 KITTI数据集开发的。与现有的参考理解数据集相比，它具有三个显着特征：（1）对指称对象的高度灵活性。每个表达式描述的对象数量从 0 到 105，平均为 10.7。（2) 高时间动态。目标的时间状态覆盖了更长的时间和更多的帧（在 0∼400 帧之间变化），并且使用作者的标记工具可以准确捕获目标的时间变化。 （3) 数据集注释的低成本。作者提供了一种简单的标记工具，只需单击两次即可注释目标轨迹。
注释数据集的过程如下图所示，根据描述单击目标的开始帧和结束帧就能得到该目标一整段视频的标签：

关于数据集的部分例子如下图所示：

3 TransMOT

顾名思义，文章提出的框架是以transformer为基础的，整体的框架图如下图所示：

整个框架分为四部分：特征提取、编码器（多模态特征融合）、解码器、参考头。
在特征提取部分，CNN提取每一帧图像的特征图，预训练的语言模型提取语言特征。其中I^l_t代表第t帧图像的第l层特征图；S代表提取的语言特征。为了进行多模态融合，在输入encoder之前，需要对I^l_t和S进行处理。其中用1×1卷积对I^l_t进行降维，再进一步处理为二阶张量，即矩阵，最终输入Enconder的I^l_t形式为：I^l_t∈R^HW×d此处d=256。语言特征R原本为二维向量，为了保证语言特征和图像特征通道数相同，用全连接层将语言特征进行投影。处理完后将两个矩阵输入Enconder中进行融合，融合过程如下图所示：

其中P^V和P^L分别是视觉特征和语言特征的位置信息编码，QKV的计算和transformer中差不多，得出注意力模块后与视觉特征进行相加，得到融合后的特征，将融合后的特征放在deformable encoder中得到最终的嵌入：E^l_t,也就是下一阶段解码器的输入。整个过程的公式如下所示：

接下来就是解码部分，目标跟踪的实现也是在这一部分。首先要了解在解码部分解码器有两个输入，其中一个是上一阶段得到的多模态融合后的嵌入E^l_t，而另一个则是一种可学习查询Q，这个Q在DETR框架中有对应解释：用可学习查询来探测编码特征以生成实例嵌入。在这里我将Q理解为检测，即Q和输入的E^l_t结合得出decoder的输出。而为了能够关联上一帧的目标来实现目标跟踪，作者提出了一种方法：将上一帧decoder的输出作为下一帧decoder的输入，并且加入一个空白查询，即图中的Q^det，来检测当前帧中新目标的出现，从而实现目标跟踪。公式如下所示：

（这一部分说的不是很清晰，因为我自己也没有真正理解透彻，如果有大神有更好的见解，请多指教）
最后将解码后的D_t输入参考头，整个流程就结束了，参考头中主要有以下作用，如图：

至此，整个框架的流程就结束了。

4 总结

由于本人是一名小白，许多地方写的不清晰甚至有错误，希望大家能在评论区指出，后续我也会继续分享关于这篇文章更深一步的理解，比如一些损失值的计算和论文的代码理解等，感谢大家的耐心阅读。