[论文阅读 2021 CVPR 目标跟踪]Rotation Equivariant Siamese Networks for Tracking

简介

paper:Rotation Equivariant Siamese Networks for Tracking

code:github

这篇论文的关注点在跟踪任务中的旋转这个问题，并认为现在的基于深度学习的跟踪算法大量使用了CNN，虽然普遍认为CNN具有一定的平移不变形和旋转不变形，但是CNN并不能够处理跟踪过程中复杂的旋转问题。

如上图所示，定义$f(\cdot )$和${\psi }_{\theta }(\cdot )$分别表示神经网络编码函数和旋转变换函数，在这里${\psi }_{\theta }(f(\cdot ))\ne f\left({\psi }_{\theta }(\cdot )\right)$.

一般情况下，我们在训练模型的时候，为了让网络学习到各种旋转角度的物体特征，会使用图像增广，通过对原图进行随机的访射变换生成更多训练样本，来提供模型的鲁棒性。

这篇论文认为采用图像增广的方式来让模型学习到旋转物体的特征，具有一些不足:

there are several limitations of data augmentation. First, such procedures would require learning separate representations for different rotated variants of the data. Second, the more variations are considered, the more flexible tracker model needs to be to capture them all. This means a significant increase in training data and computational budget. Further, such an approach would make the model invariant to rotations, thus making the predictions unreliable when the target is surrounded by similar objects.

所以，这篇论文基于steerable filters设计了具有等变性的RE-SiamNets,并提出了一个针对目标旋转的数据集ROB!

补充：等变性(equivariance)、不变性(invariance)、共变性(covariance)

$$\begin{array}{l}\text{ equivariance: }f(g(\cdot ))=g(f(\cdot )),\\ \text{ invariance: }f(g(\cdot ))=f(\cdot ),\\ \text{ covariance: }f(g(\cdot ))=g^{\prime }(f(\cdot )),\end{array}$$

关于等变性CNN的内容可以参考论文Rotation equivariant vector field networks

主要内容

如上图所示，基于等变性的CNN可以对Template frame生成更多的feature map从而用来进行cross correlation.(PS:关于构造等变性CNNS的数学推导没理解)

构造RE-SiamNet结构的流程如下:

实验结果

这篇论文在自己提出的ROB数据集上进行了测试，结果如下:

小结

这篇论文关注到目标跟踪中”旋转“这个"challenge"，角度比较新奇。