问题: 实践中发现多种跟踪算法在目标长期跟踪过程中,当出现重度遮挡、物体跑出视野外情况时,总会跟丢,并且难以重新找回初始目标。扒出15年的这篇论文,想要尝试借鉴一下它解决这类问题的思想方法。
直接入题:本文解决了长期视觉跟踪的问题,目标物体由于变形、突然运动、重度遮挡和视野之外而引起明显的外观变化。这种情况下,我们将追踪任务分解为对象的平移和尺度估计。作者的论文中表明,时间上下文之间的相关性显着提高了平移估计的准确性和可靠性,并且从置信度最高的帧中学习鉴别相关滤波器(discriminative correlation filters)以估计尺度变化是有效的。
另外,训练一个在线的随机的fern分类器(an online random fern classifier),以便在追踪失败的情况下重新检测对象。 在大规模基准数据集上的广泛实验结果表明,所提出的算法在效率,准确性和鲁棒性方面由于目前最先进的方法。
基于以前工作的两个观察:
1、时间间隔很小时(小于0.04秒),两个连续帧之间的变化很小,即使对象严重遮挡,目标周围的上下文仍然可能保持不变。因此,对由目标对象及其上下文组成的外观时间关系进行建模非常重要。本文运用一种基于相关滤波器的核岭回归方法(kernel ridge regression method)对由目标对象及其周围环境组成的外观模板进行编码。 由提取的特征构建的自适应模板能抵抗重度遮挡,快速运动和大变形。这种方法与现有的基于相关滤波器的跟踪算法不同,后者在长期跟踪中容易漂移。这种方法主要贡献是使用相关滤波器为长期视觉跟踪有效地建模时间上下文信息。
2、增强长期跟踪器的检测模块对于(i)估计比例变化和(ii)在长期遮挡或者在视野外发生跟踪失败的情况下重新检测对象是至关重要的。对于比例估计,我们从最可靠的帧中训练目标的另一个相关滤波器。 我们使用HOG作为特征来构建一个多尺度目标金字塔并详尽搜索最优尺度。对于目标重新检测,由于该滤波器在高维HOG特征空间中被训练,所以我们不应用目标相关滤波器来扫描整个帧(计算效率低), 而是使用随机fern分类器训练在线检测器,并在激活时扫描窗口。
因此,算法同时使用两个基于具有不同适应率的相关滤波器的回归模型对时间上下文相关性和目标外观进行建模来缓解矛盾。
本文三个创新点:
(1)时间上下文回归器旨在积极适应平移估计来解决重大变形和重度遮挡问题。
(2)目标回归器保守地适应并应用于外观金字塔以进行尺度估计。
(3)提出了一种新方法在跟踪失败的情况下激活目标重新检测,并通过使用目标回归器来决定是否采用重新检测结果。
做法:如上图所示,从单个框架学习两个回归模型。模型Rc利用目标和周围的时间相关性,而Rt仅模