Siamese Multi-Object Tracking

SiamMOT

论文标题：Siamese Multi-Object Tracking

论文地址：http://arxiv.org/abs/2105.11595

论文源码：https://github.com/amazon-research/siam-mot

来自亚马逊团队，是ACM2020 hieve竞赛行人多目标跟踪赛道第一，同时是ICCV2021 airmot竞赛的baseline。

出处：CVPR2021.5.25

Abstract

​ 通过引入一个基于区域的孪生多目标跟踪网络，设计了一个新的online多目标跟踪框架，名为SiamMOT。SiamMOT包含一个运动模型来估计两帧之间目标的移动从而关联两帧上检测到的目标。为了探索运动建模如何影响其跟踪能力，作者提出了孪生跟踪器的两种变体，一种隐式建模运动，另一种显式建模运动。在三个MOT数据集上进行实验，作者证明了运动建模对于多目标跟踪的重要性并验证了SiamMOT达到SOTA的能力。而且，SiamMOT是非常高效的，它可以在单个GPU上720P视频上达到17的FPS。

Introduction

主要贡献：

• 提出SiamMOT模型，使用基于区域的特征开发（显式）模板匹配来估计实例运动能够对跟踪场景（快速运动）更加鲁棒。
• 在Faster R-CNN的基础上进行改进，提出EMM的方法证明在密集光流估计建模和实例级运动估计SOT中的有效性。
• 消融分析表明实例级运动级建模对鲁棒的在线运动估计非常重要，尤其在有挑战性的跟踪场景中。

Siamese结构的网络通常在第二帧的搜索区域内跟踪第一帧中的目标对象。而且Siamese网络通常学习两个检测到的实例之间的相似性函数，Siamese跟踪器是用于用于在更大的上下文区域内搜索检测到的实例的匹配函数。

SiamMOT

​ 原理：首先$I^t$帧的图像经过backbone后，输出featrue map，检测结果detection会在feature map上扣去单个目标的SOT模板，$I^{t+\delta }$同样经过backbone后输出feature map，根据上一帧的检测结果扩大region，作为SOT的搜寻区域，随后在模板在搜索区域上进行卷积，确定$I^t$帧中的目标在$I^{t+\delta }$帧的位置，这个位置是motion model的预测，同时$I^{t+\delta }$帧也是一个完整的检测过程，会产生detection，根据上一帧的detection box做空间匹配。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-77dpgCry-1640485334616)(image/
Motion modelling with Siamese tracker

	给定第$t$帧的单个目标$i$,根据在$t$帧中的位置在$t+\delta$帧的局部窗口搜索对应的目标，在公式上表现为：

$$(v_i^{t+\delta },{\hat{R}}_i^{t+\delta })=\mathcal{T}({\mathbf{f}}_{R_i}^t,{\mathbf{f}}_{S_i}^{t+\delta },\Theta )$$

​ 这里的$\mathcal{T}$表示参数为$\Theta$的孪生跟踪器，${\mathbf{f}}_{R_i}^t$则是根据检测框$R_i^t$在$t+\delta$帧上获得搜索区域$S_i^{t+\delta }$提取的特征图。而搜索区域$S_i^{t+\delta }$是按照一定的比例$r(r>1)$扩展检测框$R_i^t$获得的，扩展前后的区域具有相同的集合中心，如上图的如上图中的黄色实线框到黄色虚线框所示。当然，不管是原来的检测框还是拓展后的预测框，获得其特征${\mathbf{f}}_{R_i}^t$和${\mathbf{f}}_{S_i}^{t+\delta }$的方式都是不受大小影响的RoIAlign层。孪生跟踪器输出的结果有两个，其中${\tilde{R}}_i^{t+\delta }$ 为预测框，而$v_i^{t+\delta }$ 则是预测框的可见置信度，若该实例在区域$S_i^{t+\delta }$是可见的，那么$\mathcal{T}$将会产生一个较高的置信度得分$ v_{i}^{t+\varepsilon}$，否则得分会较低。

​ 多目标跟踪情况下，多次使用上面的特征，对于每一个检测到的目标都是用一次，SiamMOT框架允许这些操作并行运行，只需要计算一次主干特征就可以使推理更加高效。

如果发生以下两种情况，前后两帧的匹配失败：

• ${\tilde{R}}_i^{t+\delta }$ 和$R_t^{t+\delta }$ 中的正例不匹配
• $v_i^{t+\delta }$对于在$t+\delta$处的行人可见值偏低。

Implicit motion model (IMM)

​ 隐式运动模型是通过MLP来估计目标两帧之间的运动，它先将特征${\mathbf{f}}_{R_i}^t$和${\mathbf{f}}_{S_i}^{t+\delta }$按照通道连接在一起，然年送入到MLP中预测行人可见置信度$v_i$、相对位置和尺度偏移量，如下公式所示，
$$m_i=[\frac{x_i^{t+\delta }-x_i^t}{w_i^t},\frac{y_i^{t+\delta }-y_i^t}{h_i^t},log\frac{w_t^{t+\delta }}{w_i^t},log\frac{h_t^{t+\delta }}{h_i^t}]$$
​ 其中$(x_i^t,y_i^t,w_i^t,h_i^t)$为目标框的四个值，通过$R_i^t$和$m_i$可以解出${\tilde{R}}_i^{t+\delta }$ 。给定的$(R_i^t,S_i^{t+\delta },R_i^{t+\delta })$，可以采用三元组损失来计算，其中$v_i^{\ast }$和$m_i^{\ast }$是根据$R_i^{t+\delta }$计算的真实的GT标签，${\mathcal{L}}_{focal}$为分类损失，${\mathcal{L}}_{reg}$为常用的smooth L1回归损失。
$$L={\mathcal{L}}_{focal}(v_i,v_i^{\ast })+1[v_i^{\ast }]{\mathcal{L}}_{reg}(m_i,m_i^{\ast })$$
Explicit motion model(EMM)

​ 显示运动模型。如上图所示，它通过逐通道的互相关操作（*）来生成像素级别的响应图${\mathbf{r}}_i$。在SiamMOT中，这个操作用目标特征图${\mathbf{f}}_{R_i}^t$和搜索图像特征图${\mathbf{f}}_{S_i}^{t+\delta }$ 的每个位置计算相关性，得到$r_i=f_{S_i}^{t+\delta }\ast f_{R_i}^t$，每个${\mathbf{r}}_i[k,:,:]$表示一个相似程度。

​ EMM使用全卷积网络$\psi$来检测${\mathbf{r}}_i$中匹配的目标。详细来看，$\psi$预测一个密集的可见置信度图${\mathbf{v}}_i$来表示每个像素包含目标图像的可能性，再预测一个密集的定位图${\mathbf{p}}_i$来编码该像素位置到框的左上角和右下角的偏移量。

​ 因此，处在$(x,y)$的目标可以通过$\mathcal{R}(\mathbf{p}(x,y))=[x-l,y-t,x+r,y+b]$解出边界框，其中$\mathbf{p}(x,y)=[l,t,r,b]$（两个角点的偏移）。最终，特征图可以通过下面的式子解码，此处的$\odot$表示逐元素相乘，${\mathbf{\eta }}_i$是一个惩罚图，为每一个候选区域设置非负的惩罚得分。
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{aligned…
​ 惩罚得分的计算公式如下：
$${\mathbf{\eta }}_i(x,y)=\lambda \mathbf{C}+(1-\lambda )\mathbf{S}(\mathcal{R}(\mathbf{p}(x,y)),R_i^t)$$
​ 其中$\lambda$是一个加权系数（0 ≤ λ ≤ 1），$ \mathcal{C}$则是关于目标区域$ \mathcal{R}{i}^{t}$几何中心的余弦窗口函数，$\mathcal{S}$是关于候选区域$ \mathbf{p}(x, y)$和$ R{i}^{t}$ 之间的相对尺度变化的高斯函数。惩罚图$ \boldsymbol{\eta}_{i}$ 的引入是为了阻止跟踪过程中剧烈的运动。

​ 考虑$\left(R_i^t,S_i^{t+\delta },R_i^{t+\delta }\right)$，EMM的训练损失如下式子所示。其中$ (x,y)$表示$S_{i}^{t+\delta}$中的所有有效位置，$\ell_{r e q}$是用于回归的IoU损失，$\ell_{\text {focal}}$是用于分类的损失。$\mathbf{v}{i}^{*}$ 和$\mathbf{p}{i}^{} $是像素级的GT图。如果$ (x,y)$在$R_{i}^{ t+\delta}$的范围内那么$\mathbf{v}_{i}^{*}(x, y)=1$，否则为0；

​ ${\mathbf{p}}_i^{\ast }(x,y)=[x-x_0^{\ast },y-y_0^{\ast },x_1^{\ast }-x,y_1^{\ast }-y]$，其中的$\left(x_0^{\ast },y_0^{\ast }\right)$和$\left(x_1^{\ast },y_1^{\ast }\right)$表示GT框的两个角点的坐标。此外，作者还修改了回归任务，添加了一个$w(x,y)$表示中心度，有$w(x,y)=\sqrt{\frac{\min \left(x-x_0,x_1-x\right)}{\max \left(x-x_0,x_1-x\right)}\cdot \frac{\min \left(y-y_0,y_1-y\right)}{\max \left(y-y_0,y_1-y\right)}}$.
$$L=\sum _{x,y}{\ell }_{\text{focal}}(v_i(x,y),v_i^{\ast }(x,y))+\sum _{x,y}1[v_i^{\ast }(x,y)](w(x,y)\cdot {\ell }_{\text{reg}}(p_i(x,y),p_i^{\ast }(x,y)))$$
​ 相比于IMM，EMM有两点改进。第一，它使用通道分离的相关性操作来允许网络显式学习相邻帧上同一个目标的相似性；第二，它采用一个细粒度的像素级监督，这有效减少了错误匹配.

Traing and Interence

​ 主要就是在Faster R-CNN的基础上添加了一个运动预测损失.
$$\ell ={\ell }_{rpn}+{\ell }_{\text{detect }}+{\ell }_{\text{motion }}$$

• 首先就是对检测子网络中输出的$R_i^{t+\delta }$和siamese跟踪器输出的${\tilde{R}}_i^{t+\delta }$独立的使用标准的基于IOU的NMS运算。
• 使用空间匹配特征将$R_i^{t+\delta }$,${\tilde{R}}_i^{t+\delta }$合并。检测在空间上匹配IOU>0.5到任何跟踪的目标框将会被移除
• 若轨迹可见置信度$v_i^t>\alpha$，则轨迹就是连续的。如果存在非匹配检测，并且置信度高于$\beta$，则产生新的轨迹，若连续的KaTeX parse error: Undefined control sequence: \matchcal at position 1: \̲m̲a̲t̲c̲h̲c̲a̲l̲ ̲{T}帧的可信度小于$\alpha$，该轨迹就会被删除。

Experiment