[论文阅读 2019 CVPR 目标跟踪]Unsupervised Deep Tracking

简介

paper:Unsupervised Deep Tracking

code:594422814/UDT_pytorch

这篇论文的亮点在于通过无监督学习的方式来进行目标跟踪，且取得了与监督学习模型相当的精度。

论文的基本思想是：首先将当前帧作为template frame,后一帧作为Search frame,从而得到响应$R_S$，之后反过来，将后一帧作为template frame同时以预测结果$R_S$作为其标签，然后当前帧作为Search frame预测当前帧的响应$R_T$,然后通过计算$R_T$和真实标签(高斯标签)$Y_T$之间的误差来训练模型。这就像录像的正放和倒放，目标在当前帧的位置应当是相同的。（见下图）

主要内容

如上图所示是这篇论文中模型的主要框架，其中跟踪模型采用了Dcfnet,整个训练过程分为Forward和Backward两步。

Revisiting Correlation Tracking

论文采用基于相关滤波框架的模型，相关滤波模型的优化目标是找到一个最优的滤波器$W$，从而使得下式的值最小:

$$\underset{\mathbf{W}}{\min }\Vert \mathbf{W}\ast \mathbf{X}-\mathbf{Y}{\Vert }_2^2+\lambda \Vert \mathbf{W}{\Vert }_2^2$$

Here,$Y$ is a ground-truth label, $\lambda$ is a regularization paramenter ,$\ast$ denotes the circular convolution.

将上式转换为在傅里叶域内计算，则滤波器$W$可以通过下式计算得到:

$$\mathbf{W}={\mathcal{F}}^{-1}\left(\frac{\mathcal{F}(\mathbf{X})\odot {\mathcal{F}}^{\star }(\mathbf{Y})}{{\mathcal{F}}^{\star }(\mathbf{X})\odot \mathcal{F}(\mathbf{X})+\lambda }\right)$$

where $\odot$ is the element-wise product, $\mathcal{F}(\cdot )$ is the Discrete Fourier Transform (DFT), ${\mathcal{F}}^{-1}(\cdot )$ is the inverse DFT, and $\star$ denotes the complex-conjugate operation.

而响应图$R$可以通过下式得到:

$$\mathbf{R}=\mathbf{W}\ast \mathbf{Z}={\mathcal{F}}^{-1}\left({\mathcal{F}}^{\star }(\mathbf{W})\odot \mathcal{F}(\mathbf{Z})\right)$$

Unsupervised Learning Prototype

无监督学习过程分为Forward Tracking和Backward Tracking两部分。

Forward Tracking

前向跟踪时，从首帧$P_1$中取template patch$T$,下一帧中取search patch为$S$,同时以高斯标签$Y_T$ 作为其标签，根据DCF中的公式（也就是上面计算滤波器的公式）可计算滤波器模板$W_T$为:

$${\mathbf{W}}_{\mathbf{T}}={\mathcal{F}}^{-1}\left(\frac{\mathcal{F}\left({\phi }_{\theta }(\mathbf{T})\right)\odot {\mathcal{F}}^{\star }\left({\mathbf{Y}}_{\mathbf{T}}\right)}{{\mathcal{F}}^{\star }\left({\phi }_{\theta }(\mathbf{T})\right)\odot \mathcal{F}\left({\phi }_{\theta }(\mathbf{T})\right)+\lambda }\right)$$

且响应为:

$${\mathbf{R}}_{\mathbf{S}}={\mathcal{F}}^{-1}\left({\mathcal{F}}^{\star }\left({\mathbf{W}}_{\mathbf{T}}\right)\odot \mathcal{F}\left({\phi }_{\theta }(\mathbf{S})\right)\right)$$

Backward Tracking

反向跟踪时，将前向跟踪得到的响应$R_S$作为标签$Y_S$,同时将$S$作为template patch,$T$作为search path.计算反向跟踪的滤波器目标$W_S$ 为:

$${\mathbf{W}}_{\mathbf{S}}={\mathcal{F}}^{-1}\left(\frac{\mathcal{F}\left({\phi }_{\theta }(\mathbf{S})\right)\odot {\mathcal{F}}^{\star }\left({\mathbf{Y}}_{\mathbf{S}}\right)}{{\mathcal{F}}^{\star }\left({\phi }_{\theta }(\mathbf{S})\right)\odot \mathcal{F}\left({\phi }_{\theta }(\mathbf{S})\right)+\lambda }\right)$$

同理计算反向跟踪的响应$R_T$为:

$${\mathbf{R}}_{\mathbf{T}}={\mathcal{F}}^{-1}\left({\mathcal{F}}^{\star }\left({\mathbf{W}}_{\mathbf{S}}\right)\odot \mathcal{F}\left({\phi }_{\theta }(\mathbf{T})\right)\right)$$

Consistency Loss Computation

根据预想,$R_T$应当尽可能与原始标签$Y_T$相似，即最小化它们之间的误差:

$${\mathcal{L}}_{\text{un }}={\Vert {\mathbf{R}}_{\mathbf{T}}-{\mathbf{Y}}_{\mathbf{T}}\Vert }_2^2$$

最终通过下面的偏导来更新网络:

$$\begin{array}{rl}\frac{\partial {\mathcal{L}}_{\mathrm{u}\mathrm{n}}}{\partial {\phi }_{\theta }(\mathbf{T})}& ={\mathcal{F}}^{-1}\left(\frac{\partial {\mathcal{L}}_{\mathrm{u}\mathrm{n}}}{\partial {\left(\mathcal{F}\left({\phi }_{\theta }(\mathbf{T})\right)\right)}^{\star }}+{\left(\frac{\partial {\mathcal{L}}_{\mathrm{u}\mathrm{n}}}{\partial \left(\mathcal{F}\left({\phi }_{\theta }(\mathbf{T})\right)\right)}\right)}^{\star }\right)\\ \frac{\partial {\mathcal{L}}_{\mathrm{u}\mathrm{n}}}{\partial {\phi }_{\theta }(\mathbf{S})}& ={\mathcal{F}}^{-1}\left(\frac{\partial {\mathcal{L}}_{\mathrm{u}\mathrm{n}}}{\partial {\left(\mathcal{F}\left({\phi }_{\theta }(\mathbf{S})\right)\right)}^{\star }}\right)\end{array}$$

Unsupervised Learning Improvements

在实际测试中，作者发现两个问题：一个是跟踪器可能会在向前跟踪中偏离目标，但是在向后跟踪中仍然返回到原始位置；二是有些训练数据包含无语意信息或者目标被遮挡。

对于这些情况，作者提出了两个新的举措的来解决。

Multiple Frames Validation

为了解决上面提到的第一种问题，作者通过使用三帧相邻的图像来放大预测的误差。如上图中右图所示，对第二帧预测的结果在进行一次前向跟踪得到第三帧的预测结果，之后将第三帧作为template,第一帧作为search,之后进行反向跟踪，并定义新误差为:

$${\mathcal{L}}_{\mathrm{u}\mathrm{n}}={\Vert {\tilde{\mathbf{R}}}_{\mathbf{T}}-{\mathbf{Y}}_{\mathbf{T}}\Vert }_2^2$$

where ${\tilde{\mathbf{R}}}_{\mathbf{T}}$ is the response map generated by an additional frame during the backward tracking step.

Cost-sensitive Loss

为了解决第二个问题，作者引入了motion weight vector$A_{motion}$，每个位置的$A_{motion}^i$通过下面式子计算得到:

$${\mathbf{A}}_{\mathrm{m}\mathrm{o}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}^i={\Vert {\mathbf{R}}_{{\mathbf{S}}_1}^i-{\mathbf{Y}}_{\mathbf{T}}^i\Vert }_2^2+{\Vert {\mathbf{R}}_{{\mathbf{S}}_2}^i-{\mathbf{Y}}_{{\mathbf{S}}_1}^i\Vert }_2^2$$

$A_{motion}^i$的值越大，代表目标在该连续帧中运动的幅度越大。

之后对$A_{motion}^i$进行正则化:

$${\mathbf{A}}_{\text{norm }}^i=\frac{{\mathbf{A}}_{\text{drop }}^i\cdot {\mathbf{A}}_{\text{motion }}^i}{{\sum }_{i=1}^n{\mathbf{A}}_{\text{drop }}^i\cdot {\mathbf{A}}_{\text{motion }}^i}$$

最终的损失函数通过下面的式子决定:

$${\mathcal{L}}_{\mathrm{u}\mathrm{n}}=\frac{1}{n}\sum _{i=1}^n{\mathbf{A}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}^i\cdot {\Vert {\tilde{\mathbf{R}}}_{\mathbf{T}}^i-{\mathbf{Y}}_{\mathbf{T}}^i\Vert }_2^2.$$

实验结果

小结

这篇论文的想法很新颖，也很有意思，通过无监督学习的方式取得了与监督学习相当的结果，不容易（PS：无监督目标跟踪也是一个好坑位!）