Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

清华和北航的一篇多目标跟踪的论文，发表于ICCV2021，PDF地址：https://arxiv.org/abs/2103.12511。

---

摘要

大多数多目标跟踪（MOT）方法是基于tracking-by-detection范式的，检测和跟踪为两个独立的任务。最近，出现了一些单阶段方法，将两个任务的特征提取部分放在同一个网络中完成。但跟踪部分依旧需要进行数据关联以及一些关于轨迹的复杂的后处理。作者在这篇文章中提出了Global Correlation Network （GCNet），设计了一个全局相关网络层（global correlation layer）用于回归出bbox的绝对大小以及坐标。整个pipeline较为简单，不需要NMS以及其他复杂的跟踪策略。

---

介绍

传统的多目标跟踪算法是tracking-by-detection（TBD）范式，检测和跟踪两个任务均独立存在。得益于目标检测领域的发展，这类算法一度占据了几乎整个MOT领域。早期的算法采用一些简单的特征来进行数据关联，比如大小、位置和速度等，但这些特征或多或少都有些明显的缺陷。比如当相机发生抖动时，一些运动模型便无法发挥用处。此后，大多数方法采用外貌特征，虽然提高了准确度和鲁棒性，但也提高了计算代价。最近，很多算法通过在骨干网络之后添加一个ReID分支，将检测和外貌特征的提取部分结合在了一起。这样的方法虽然减少了计算复杂度，但在数据关联模块依旧可能需要运动模型预测或者复杂的跟踪策略，导致过多的超参数，以及推理时pipeline不够简洁。针对以上问题，作者设计了GCNet，以同样的方法实现了bbox回归和跟踪。众所周知，bbox回归利用局部特征估计anchor和gt之间的偏移，或者预测bbox大小以及关键点和特征位置之间的偏移。在GCNet中，作者想要直接预测出bbox的绝对大小和坐标，而不是相对坐标和偏移量。然而在传统的卷积神经网络中，由于感受野受限，局部特征并不会包含全局信息。自注意力模块可以使每个位置的特征都包含全局信息，但在一个高分辨率的特征图上进行自注意力计算复杂度太过高昂，所以作者设计了全局关联层（ the global correlation layer）来将全局信息编码到每个位置的特征中。对于特征图$F\in R^{h\times w\times c}$，通过两个线性变换生成两张不同的特征图$Q$和$K$：$$Q_{ij}=W_q{F}_{ij},K_{ij}=W_k{F}_{ij}$$对于每一个$Q_{ij}$，计算其与所有的$K_{ij}$之间的余弦距离，再经过另一个线性变换后，得到相关向量$C_{ij}\in R^{c^{\prime }}$：$$C_{ij}=W\cdot \text{ flatten }\left(\left[\begin{array}{ccc}\frac{Q_{ij}{K}_{11}}{|Q_{ij}||K_{11}|}& \cdots & \frac{Q_{ij}{K}_{1w}}{|Q_{ij}||K_{1w}|}\\ ⋮& \ddots & ⋮\\ \frac{Q_{ij}{K}_{h1}}{|Q_{ij}||K_{h1}|}& \cdots & \frac{Q_{ij}{K}_{hw}}{|Q_{ij}||K_{hw}|}\end{array}\right]\right)$$
相关向量$C_{ij}$是将局部特征向量$Q_{ij}$和全局特征$K$之间的相关性进行编码后的向量，所以它可以被用来回归出图像中相应位置的目标的bbox的绝对大小。将所有的相关向量$C_{ij}$整合成相关图的形式$C\in R^{h\times w\times c^{\prime }}$，通过1*1的卷积得到$B\in R^{h\times w\times 4}$。当进行目标检测时，$K$和$Q$为同一帧；当进行跟踪时，$Q$为之前帧，$K$为当前帧。这样以来，GCNet便可以以同样的方式来完成检测和跟踪。GCNet的分类分支，采用了与CenterNet同样的网络结构和训练策略。当进行推理模式时，对每一帧会生成检测热度图$Y_d$和跟踪热度图$Y_t$。检测热度图$Y_d$代表着当前帧目标中心的检测置信度，跟踪热度图$Y_t$代表着当前帧与下一帧之间的跟踪置信度。

---

方法

假设对于$t$时刻来说，有第0帧到第$t-1$帧的轨迹， { T 1 , T 2 , … , T n } \left\{T_{1}, T_{2}, \ldots, T_{n}\right\} {T1​,T2​,…,Tn​}，其中$T_i=\left[B_{i,1},B_{i,2},\dots ,B_{i,t-1}\right]$，$B_{ij}$代表物体$i$在$t$时刻的bbox。输入当前帧的图像$I_t\in R^{h\times w\times 3}$，需要将当前帧的目标$B_{x,t}$分配给历史轨迹，或者开启一条新轨迹。

Global Correlation Network

Detection module： 上图是框架中的检测模块，分为三部分：骨干网络、分类分支和回归分支。由于分类分支是与CenterNet一样，特征图的每一个位置都可能对应一个目标的中心点，所以特征图的分辨率对网络的性能有着至关重要的影响。为了获得高分辨率的特征图，并且保持感受野不受限，作者采用了与FPN一样的跳跃连接，但是只使用FPN输出中最好的一个特征图，记为$F\in R^{h^{\prime }\times w^{\prime }\times c}$，其中$h^{\prime }=\frac{h}{8}$，$w^{\prime }=\frac{w}{8}$。分类分支为全卷机网络，输出检测的置信度热度图$Y_d\in R^{h^{\prime }\times w^{\prime }\times n}$，特征图的值范围均在0到1之间。$Y_d$的第$i$个通道的峰值代表着目标的中心点属于第$i$类。
回归分支的输入为$F$和$Y_d$，然后计算三个特征图$Q$，$K$，$V$：$$\begin{array}{l}Q=B{N}_Q\left({\mathrm{Conv}}_Q(F,1,1,c)+P\right)\\ K=\mathrm{Gate}\left[B{N}_K\left({\mathrm{Conv}}_K(F,1,1,c)+P\right),Y_d\right]\\ V={\mathrm{Conv}}_V(F,1,1,c)\end{array}$$其中，$Conv(F,a,b,c)$代表着卷积大小为$a$、stride为$b$、卷积核数量为$c$的卷及操作。$Gate(X,Y)$是一种简单的空间注意力，如下图所示。

$P$是和$F$同样尺寸的位置编码，计算方式如下：$$\begin{gathered} P_{ijk}=\{\begin{array}{ll}\cos \left(\frac{4\pi k}{c}+\frac{\pi i}{h}\right),& 0⩽k<\frac{c}{2}\\ \cos \left(\frac{4\pi k}{c}+\frac{\pi j}{w}\right),& \frac{c}{2}⩽k<c\end{array} \\ 0⩽i<h^{\prime },0⩽j<w^{\prime } \end{gathered}$$这样计算以来，两个空间位置靠近的embedding向量便会与较大的余弦相似度，较远的embedding的余弦相似度便较小，减小了跟踪时相似物体对跟踪效果的影响。其实也是将位置信息加入到了相关向量中，即使很相似的目标，若是位置差距很远，也不会被关联。
通过前一部分给出的计算方式，通过$Q$和$K$计算出相关向量$C$以后，最终的bbox可以通过以下公式$B_{d,ij}=W\cdot BN\left(\left[\begin{array}{ll}{C}_{ij}& V_{ij}\end{array}\right]\right)$得到（$B_{d,ij}=\left[x_{ij},y_{ij},h_{ij},w_{ij}\right]$）。
Tracking module：

跟踪模块的结构如上图所示，其输入是当前帧的特征图$K$、当前帧的检测置信度图以及历史轨迹的特征向量。此模块的输出是跟踪的置信度以及为每个历史轨迹输出一个bbox。不难看出，跟踪模块的结构与检测模块几乎一致，参数大部分也是共享检测分支的，除了图中绿色部分的用于计算跟踪置信度的全连接层的参数。这里输出的bbox与检测分支的输出形式一致，均是绝对坐标和大小。跟踪置信度代表着历史轨迹中的目标是否还存在在当前帧。我的理解是，这种跟踪形式，对每个历史轨迹在当前帧寻找可以分配的目标，可以自然而然地将ID传送下去，文中写的是以一种“object-wise”的方式。

Training

作者说GCNet是可以端到端进行训练的，也可以两阶段训练，然后对两阶段的训练策略进行了介绍。先训练检测分支，最后对整个网络进行微调。
检测分支的训练策略与CornerNet一致。首先通过高斯函数来定义gt的热度图$Y_{gt}\in R^{h^{\prime }\times w^{\prime }\times n}$：$$\begin{gathered} \begin{array}{l}{Y}_{gt,ijk}={\max }_{1⩽n⩽N_k}\left(G_{ijn}\right)\\ G_{ijn}=\exp \left[-\frac{{\left(i-x_n\right)}^2}{2{\sigma }_{x,n}^2}-\frac{{\left(i-y_n\right)}^2}{2{\sigma }_{y,n}^2}\right]\end{array} \\ {\sigma }_x=\frac{h(1-\text{IoU\_threshold)}}{3(1+\text{IoU\_threshold)}} \\ {\sigma }_y=\frac{w(1-\text{IoU\_threshold)}}{3(1+\text{IoU\_threshold)}} \end{gathered}$$其中，$N_k$是第$k$类目标的数量，$\left[x_n,y_n\right]$为目标$n$的中心点，${\sigma }^2$与目标的尺寸相关。分类分支的损失为像素级别的带有惩罚因子的focal loss：$$L_{d,cla}=-\frac{1}{h^{\prime }{w}^{\prime }n}\cdot \sum _{ijk}\{\begin{array}{ll}{\left(1-Y_{d,ijk}\right)}^2\log \left(Y_{d,ijk}\right),& Y_{gt,ijk}=1\\ {\left(1-Y_{gt,ijk}\right)}^2{Y}_{d,ijk}^2\log \left(1-Y_{d,ijk}\right),& Y_{gt,ijk}\ne 1\end{array}$$回归分支的损失采用的是CIoU loss：$$L_{d,reg}=\sum _{[ij]=1}{\beta }_{ij}\cdot L_{CIoU}\left(B_{gt,ij},B_{d,ij}\right)$$其中的$[ij]=1$代表着对应的$B_{d,ij}$分配到了一个gt框。作者将bbox分配到gt的准则如下：$$[ij]=\{\begin{array}{l}1,{\exists }_n{G}_{ijn}>0.3\&{\sum }_n{G}_{ijn}-{\max }_n{G}_{ijn}<0.3\\ 0,\text{ otherwise }\end{array}$$对于一些，${\max }_n{G}_{ijn}=1$的bbox，将其在损失中的权重设为2，其余为1。这是为了提高预测bbox中心点的准确度。
训练完检测模块后，对整个网络进行微调。此阶段，输入为$I_t$和$I_{t-i}$两帧图像（$1<i<5$）。此时的损失分为两部分：$I_{t-i}$的检测损失以及两帧之间的跟踪损失。跟踪损失也是由相同的两部分构成：分类分支采用focal loss以及回归分支采用CIoU loss。跟踪时的gt由目标的ID决定，当$I_{t-i}$中的$[ij]=1$等于1，且相对应的目标也存在于$I_t$中，则$B_{t,ij}$和$Y_{t,ij}$为正例。最终，总的整体损失为：$$\mathrm{Loss}=L_{d,cla}+L_{t,cla}+0.1\times \left(L_{d,reg}+L_{t,reg}\right)$$

Inference pipeline

进行推理时，输入为连续的帧$I_1\sim I_t$。首先进行初始化，轨迹集合$\mathcal{T}=\varnothing$，置信度集合$\mathcal{Y}=\varnothing$，特征向量集合$\mathcal{O}=\varnothing$以及候选集合$\mathcal{C}=\varnothing$。在每一时刻，对当前帧进行检测，并对已存在的轨迹和候选检测框进行跟踪。通过$Y_i=\min \left(2\times Y_i\times Y_{t,i},1.5\right)$来对置信度集合$\mathcal{Y}$进行更新。轨迹和候选检测卡中置信度低于$p_2$的会被删除，然后更新轨迹集合$\mathcal{T}$和候选集合$\mathcal{C}$，相对应的特征向量也会进行更新。检测结果中IoU高于$p_3$并且置信度低于$p_2$的结果会被忽略。然后剩下的检测框中，检测置信度高于$p_1$的会开始生成新的轨迹，再次剩下的检测框会加入到候选集合$\mathcal{C}$中。超参数$p_1$、$p_2$和$p_3$在实验中分别设为0.5、0.3和0.5。可以看到，所有的检测和跟踪均在稀疏模式下完成，所以算法的计算复杂的较低。具体算法如下图所示：

---

实验

上表示GCNet在UA-DETRAC上的消融实验，主要验证了三点：（1）Gate模块将分类分支的信息融入到回归分支之中，不仅是一个空间注意力机制，也有利于回归分支的训练；（2）特征图$V$进行拼接可以提供更多相关向量中没有的的局部信息，有助于推理处目标的尺寸；（3）作者设计的位置编码效果比普通位置编码更好，不同的通道对应的编码的值也不同。

上面两张表分别是GCNet与其他算法在UA-DETRAC的检测和跟踪的实验结果，可以看出在检测方面GCNet的效果还是很高的，跟踪的实验对比的其他算法并没有很多目前sota的算法，用的数据集也不是较为流行的MOT数据集，所以效果其实不太能看的出来。另外，这篇论文的代码也未开源。