![b6e23727ffa8f844ddadb97044986f10.png](https://i-blog.csdnimg.cn/blog_migrate/ec7907f2bc3ba603ef0137659e6f40bc.jpeg)
目标跟踪分为单目标跟踪和多目标跟踪,单目标跟踪较为简单,这里我们只讨论多目标跟踪。
![87fbb9b2439c834064f44214a06afb0d.gif](https://i-blog.csdnimg.cn/blog_migrate/d0dc769e4785a5e001d038f10900b801.gif)
多目标跟踪的遮挡问题
多目标跟踪时特别容易发生目标间的相互遮挡,从而导致严重的预测偏移问题,如下图所示:
![909f5abf9f3afaf48ba91189ed05474b.png](https://i-blog.csdnimg.cn/blog_migrate/f1c73fa031a53ef4023ede738d5038f7.jpeg)
红色框的行人在和蓝色框行人交错而过时,由于外观模型的持续更新,红色框就学到了另一个人的外观特征,从而导致跟踪错误。这种情况在多目标跟踪中并不少见,所以如何解决遮挡问题就成了重中之重。
这里介绍一种采用时空注意力机制(Spatial-Temporal Attention Mechanism)来尽可能解决目标间遮挡的深度模型。
Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanismarxiv.org模型总体架构
这种时空注意力深度模型的总体架构如下所示:
![7bc50da37b60b739121a666d0cdc7a4e.png](https://i-blog.csdnimg.cn/blog_migrate/e43f0f46c74a9f570d05e1d0fb805070.jpeg)
空间注意力对特征进行加权,从而对每个候选框进行分类,而时间注意力通过调节第t帧样本和历史样本的权重,从而辅助损失函数进行参数更新。
空间注意力
我们接下来具体看一看空间注意力机制如何发挥作用。
![7b74617269a0bb5d47bbd309e858285b.png](https://i-blog.csdnimg.cn/blog_migrate/5f3c43953d03b4a71ec519217d920401.jpeg)
输入图片先通过一个共享卷积层,提取高维特征CNN Feature Map,接着各个目标均在此CNN Feature Map上进行预测即可,每个特定目标CNN分支都对应跟踪一个目标,即有多少行人,就有多少CNN分支。
值得一提的是,对于每个目标来说,其候选框BBox由两部分组成,运动模型的预测框和检测模型的检测框组成;接着对此目标的所有候选框进行评分,得分最高的且大于一定阈值的候选框,即为此帧此目标的预测跟踪框。
得到ROI-Pooling特征时注意一个细节:因为BBox框的大小不一样,所以引入ROI池化,统一ROI Features的尺寸,从而保证后序全连接层正常运行。
特定目标分支中,分为空间注意力提取阶段和二分类阶段:
(1)空间注意力使用可视图来得到,ROI-Pooling特征经过卷积层和全连阶层后reshape成可视图,越接近于1即为目标像素,越接近0则为非目标像素,可视化如下:
![5a4e8139fe61aec81b80eb5a89e77321.png](https://i-blog.csdnimg.cn/blog_migrate/63bb1f603faf90f2c996c7fdca7efd30.jpeg)
红色区域为目标,蓝色区域为被遮挡部分。
这里的可视图既辅助产生空间注意力,也在时间注意力中发挥作用,在更新参数时决定使用当前帧的程度;
(2)二分类阶段较为简单明了,每个ROI-Pooling都对应这一个得分,对于一个分支来说,得分最高的且大于一定阈值的ROI-Pooling,即为此帧此目标的预测跟踪框。
时间注意力
时间注意力其实反映的是我们更新参数时,考虑此帧预测跟踪框占总损失的权重。
![b52834757e2580d00788ec8aca08ad15.png](https://i-blog.csdnimg.cn/blog_migrate/b128412a862e80467cb149da9f8f7582.jpeg)
![equation?tex=%5Calpha](https://i-blog.csdnimg.cn/blog_migrate/b5edc03934564b6fc6a72b7804435505.png)
![f9ad7682ef9cf9401765c2f68db24053.png](https://i-blog.csdnimg.cn/blog_migrate/3c45b2c0b5f67069a18589e0c084b598.png)
其中,
![equation?tex=s_%7Bt%7D%5E%7Bi%7D](https://i-blog.csdnimg.cn/blog_migrate/8b4bbbcdfe2c3c7b16a81798f804bbb6.png)
![equation?tex=o_%7Bt%7D%5E%7Bi%7D](https://i-blog.csdnimg.cn/blog_migrate/b9156a653bad7de966551dfdb4a0e4fa.png)
![067007d90b159f4dadcb8a55474db5ac.png](https://i-blog.csdnimg.cn/blog_migrate/6bd6c77dec1b81b4a8df1395ad932070.jpeg)
总损失也就是由第t帧负样本,第t帧正样本,历史正样本三部分构成,均采用交叉熵损失。
实验结果
![4ddd27bfbbb1b735b20ce95fe0c2e382.png](https://i-blog.csdnimg.cn/blog_migrate/9d1a391664f0f29b7558c99a22857b24.png)
消融实验可以得出每个部分都是有效的。
![aabf1b9c3227265481ef8d9beeac12ca.png](https://i-blog.csdnimg.cn/blog_migrate/5792d3d8ace454ca0d69a0bce116ed0e.jpeg)
时空注意力机制STAM和其他多目标跟踪方法比,效果确实得到了一定的提升。IDS评价指标最优,也体现出此模型能较好地处理遮挡问题,减少了ID错误切换的频率。
总结归纳:
1.前半部分网络使用共享卷积层,减少了参数量;并且参数固定住,减少反向传播的计算量;
2.引入运动模型,相比起其他只使用Detector的MOT算法,增加了稳定性;
3.使用时空注意力机制,更准确地跟踪遮挡情况。
问题讨论:
一般空间注意力都是全连接层进行全局Softmax实现,大家知道空间注意力的局部连接形式是什么样的吗?
![dbb87244c2de10a4d02a22ecd1b83ab3.png](https://i-blog.csdnimg.cn/blog_migrate/6f4896cfa17d9b4432f36d8027e13ef4.jpeg)