Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

最新推荐文章于 2022-07-03 22:51:57 发布

Fwenxuan

最新推荐文章于 2022-07-03 22:51:57 发布

阅读量1.1k

点赞数 1

分类专栏：目标跟踪文章标签：目标检测目标跟踪深度学习

本文链接：https://blog.csdn.net/weixin_42714574/article/details/122387051

版权

目标跟踪专栏收录该内容

22 篇文章 7 订阅

订阅专栏

GCNet

论文标题:Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

论文地址: http://arxiv.org/abs/2103.12511

论文源码:暂未开源

JDE方法的跟踪部分依然依赖于数据关联并且需要复杂的后处理来进行轨迹的生命周期管理，因此它们并没有将检测和跟踪组合得很好。因此，GCNet（Global Correlation Network，全局相关网络）被提了出来，它以端到端得方式实现了联合多目标检测和跟踪。与大多数目标检测方法不同的是，GCNet引入了全局相关层来回归目标的绝对大小和边框坐标，而不是偏移量预测。GCNet的pipeline概念上是非常简洁的，它**不需要非极大值抑制、数据关联以及其他复杂的跟踪策略。**在UA-DETRAC这个车辆跟踪数据集上进行评估，GCNet达到了SOTA的检测和跟踪表现。

Introduction

在这篇论文中，作者提出了一种新的端到端联合检测和跟踪的网络，该网络通过同样的方式完成边界框回归和跟踪，这种方式称为全局相关操作（global correlation）。边界框的回归通常利用局部特征去估计anchor与ground truth之间的偏移量，或者估计框大小以及关键点与特征位置之间的偏移量。

GCNet中，网络直接回归边界框的绝对坐标和尺寸而不是相对坐标或偏移量，因此作者提出了global correlation layer来编码全局信息到每个位置的特征里。
在这里插入图片描述

Movaitation

在 $t$ 时刻，现有的目标轨迹集为 $\lbrace T_{1},T_{2},...T_{n} \rbrace$ ，其中每个 $T_{i}=[B_{i,1},B_{i,2},...B_{i,n}]$ 表示第 $i$ 个目标在各个时刻的边框信息。这里的 $B_{i,j}$ 表示第 $i$ 个目标在时间 $j$ 时刻的边界框。考虑当前帧图像 $I_{t} \in R^{h \times w \times 3}$ ，应当将当前帧上的目标框 $B_{x,t}$ 安排给历史轨迹，或者成为新的新的轨迹。

Global Correlation Network

整个GCNet分为检测模块（Detection module）和跟踪模块（Tracking module） 两部分，我们首先来看检测模块，它的结构如下图所示，包含三个部分分别是backbone、分类分支、回归分支。backbone用于高级语义特征的提取，由于分类分支采用的是和CenterNet一样的思路，特征图的每个位置对应一个目标的中心点，因此特征图的分辨率其实对网络的性能影响非常大。为了得到高分辨率大感受野的特征图，作者采用和FPN一样的跳跃连接结构，但是只输出最精细级别的特征图 $F$ ，它的尺寸为 $\times w' \times 3$ ，等价于 $\frac {H}{8}\times \frac {W}{8} \times 3$ .

在这里插入图片描述

通过backbone得到了原始图像的特征图 $F$ ，利用 $F$ 最下面的分类分支通过卷积层运算得到分类置信度图 $Y_{d}\in R^{h' \times w' \times n}$ ，它的数值均在0和1之间，因此它其实是一个热力图。 $Y_{d}$ 的第 $i$ 个通道的峰值对应于第 $i$ 类的目标的中心。

然后，上面的回归分支输入backbone的特征图 $F$ 和分类置信度图 $Y_{d}$ ，然后计算三个特征图，即 $Q, K, V$ 。它们的计算式如下式，这里 $C o n v (F, a, b, c)$ 表示核尺寸为 $a$ 、步长为 $b$ 、核数目为 $c$ 的卷积层， $B N$ 表示batch normalization层。

在这里插入图片描述
这里的 $G (X, Y)$ 的含义，它其实是下图所示的一种空间注意力结构。此外，在 $Q$ 和 $K$ 计算之前，特征图 $F$ 加上了一个shape一样的位置编码 $P$ ，它的计算方式如下。

在这里插入图片描述

通过这个位置编码，位置上距离较近的两个嵌入向量余弦相似度较大，距离较远的两个嵌入向量余弦相似度较小，因而可以减少跟踪时类似对象的负面影响。

Global Correlation Layer

作者提出的global correlation layer是如何对全局信息进行编码的。对于特征图 $\in R^{h \times w \times 4}$ ，通过两个线性变换计算特征图 $Q$ 和特征图 $k$ ，计算式如下。

在这里插入图片描述
上式中的下标表示行列的位置，如 $X_{i,j}\in R^{c}$ 表示 $X$ 在第 $i$ 行第 $j$ 列位置的特征向量。

接着，对每个特征向量 $Q_{i,j}$ ，计算其与所有的 $K_{i,j}$ 之间的余弦距离，然后再通过矩阵 $W$ 进行线性变换即可得到相关向量 $C_{i,j}\in R^{c'}$ ，它的形式如下。

在这里插入图片描述
因此，每个 $C_{i,j}$ 都编码了局部特征向量 $Q_{i,j}$ 和全局特征图 $K$ 之间的相关性，所以它可以用于图像中相应位置的目标的绝对边界框。所有相关向量可以构建一个相关特征图 $C\in R^{h \times w \times c'}$ ，因此可以通过简单的1x1卷积来得到边框预测 $B\in R^{h\times w\times 4}$ 。这个Global Correlation Layer操作在GCNet的检测和跟踪结构中被使用，不过，在检测时， $Q$ 和 $K$ 来自同一帧图像，而在跟踪时， $Q$ 来自前一帧图像 $K$ 来自当前帧图像。

这个Global Correlation Layer操作，其实是作者定义的一套计算全局相关性特征图的计算方式，下面的模块中会用到。

有了 $Q$ 和 $K$ 就可以计算处相关性特征图 $C$ 了，然后，就可以利用下面的式子计算最终的边界框 $B_{d,i,j}=[x_{i,j},y_{i,j},j_{i,j},w_{i,j}]$ 。需要注意的是，GCNet直接回归目标边界框的绝对坐标和尺寸.

在这里插入图片描述
跟踪模块，其实所谓跟踪就是为当前帧的目标赋予ID的过程，它可以通过和历史目标关联也可以作为新的轨迹的开端。它的输入由三部分组成，分别是当前帧的特征图 $K$ 、当前帧的检测置信度图（即热力图)、历史轨迹的特征向量。

跟踪模块为每个历史轨迹输出一个跟踪置信度和边界框。它的结构其实和检测模块是很类似的，它的大部分参数也是和检测模块共享的，除了计算跟踪置信度的全连接层（下图的绿色块）。跟踪框和检测框在表达上是一致的，都是绝对坐标的格式。跟踪置信度则表明这个目标仍旧在当前帧上的概率。此外，由于跟踪模块以逐目标的方式进行（也就是每个历史轨迹都会逐一处理到)，因此它能够很自然地进行ID传递而不需要关联步骤。

在这里插入图片描述

Training

GCNet是可以端到端训练的，不过为了更好的效果，作者采用先训练检测模块再整个网络微调的二阶段训练思路。

分类分支的训练策略和CornerNet一致，GT热力图的产生方式如下式，通过2D高斯核函数产生GT heatmap $Y_{gt}\in R^{h'\times w'\times 3}$ 。

在这里插入图片描述

上面式子中的 $N_{K}$ 表示类别 $k$ 目标数目， $X_{n},Y_{n}]$ 则表示目标 $n$ 的中心， $\sigma ^{2}$ 依据目标的尺寸而定， $\sigma_{x}$ 和 $\sigma_{y}$ 的表达式如下，其中的IoU阈值设置为0.3。

在这里插入图片描述

分类损失是像素级的focal loss，式子如下。

在这里插入图片描述

回归损失采用CIoU loss，算式如下。

在这里插入图片描述

这里的 $[i, j] = 1$ 表示相应的 $B_{d,i,j}$ 被分配给一个GT框，只有当 $G_{ijn}>0.3$ and $\sum G_{ijn}-maxG_{ijn}<0.3$ 满足时一个才会被分 $B_{d,i,j}$ 配给一个GT，表示如下。
在这里插入图片描述

并且对于 $max_{n}G_{ijn} = 1$ 的 $B_{ij}$ ，设置回归损失的权重为2，其余为1，这是为了加强中心点的边框精准度。

首先预训练检测模块，然后在整个网络上微调，微调这一步训练时，一次输入两个图像 $I_{t-i}$ 和 $I_{t}$ ，这里的 $i$ 在1和5之间。损失包含两部分，分别是 $I_{t-i}$ 的检测损失和两幅图像的跟踪损失，跟踪损失又由两项组成，回归CIoU损失和分类focal loss。跟踪的GT由目标的ID确定，当 $I_{t-i}$ 中的时，相对应 $[i, j] = 1$ 的目标也存在 $I_{t}$ ， $B_t,ij$ 和 $Y_{t,ij}$ 为正例。最终的损失如下式所示。

在这里插入图片描述

Inference

在这里插入图片描述

上图所示为整个推理算法，输入为连续的图像帧序列 $I_{1}...I_{t}$ ，记录每个目标的轨迹 $T_{i}$ 、置信度 $Y_{i}$ 、特征向量及候选向量 $V_{i},Q_{i}]$ 为四个集合， $\mathcal {T},\mathcal {O},\mathcal {Y},\mathcal {C}$ ，它们均初始化为空。在每个时刻，对当前帧图像进行检测并在轨迹集合候选集之间进行跟踪。通过跟踪置信度来更新集合 $\mathcal {Y},\mathcal {C}$ 的所有置信度，其中 $Y_{i}=\min(2 \times Y_{i}\times Y_{t,i},1.5)$ 。轨迹和候选的置信度低于 $P_{2}$ 将会被删除，然后轨迹集、候选集和特征集也会相应更新。检测结果中，IoU高于 $p_{3}$ 或者置信度低于 $p_{2}$ 的将被忽略。对于剩下的检测框，如果置信度高于阈值 $p_{1}$ 会用于生成新的轨迹，此外的框加入候选集合 $\mathcal {C}$ 中。这里不难发现，整个检测和跟踪都能以稀疏模式完成，因此整体计算复杂度并不高。

Experiment

在基准数据集上和其他方法比较检测的结果如下，改方法优势还是比较明显的。
在这里插入图片描述

GCNet在多目标跟踪任务上的效果如下图，达到SOTA水准，且速度很快，达到34FPS。
在这里插入图片描述

Fwenxuan

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

GCNet论文标题:Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking论文地址: http://arxiv.org/abs/2103.12511论文源码:暂未开源 JDE方法的跟踪部分依然依赖于数据关联并且需要复杂的后处理来进行轨迹的生命周期管理，因此它们并没有将检测和跟踪组合得很好。因此，GCNet（Global Correlation Network，全局相关网络）被提了出来，它
复制链接

扫一扫