大目标跟踪多模板策略

背景

飞机 Contains 大范围的纹理区域,对特征提取和关联匹配提出较高要求。

飞机近景下会出现较大形变,需要模型具备强形变处理能力或采用多模板跟踪。

飞机起降过程中遮挡严重,需要跟踪器拥有强健的遮挡处理机制。

大场景跟踪需要考虑背景关系维持等问题。

策略

大目标形变处理

1. mmtracking的默认跟踪器如SiameseRPN等,其模型大小和特征层数都较浅,对显著形变的鲁棒性较差。

2. 这类单模板跟踪器学到的是一个固定大小和外观的模板,面对飞机近景下明显的尺度和外观变化时容易漂移和失败。

 3. 可以通过使用多模板跟踪器来增强对形变的鲁棒性,但需要设计模板更新策略。

4. 也可以采用可变形模板,或在线生成形变模板。但这需要修改网络结构,增加形变分支。

遮挡处理

1. mmtracking的跟踪器没有显式的遮挡检测机制,一旦出现严重遮挡通常会引起跟踪漂移或失败。

2. 可以引入基于目标外观完整性分析的遮挡检测机制,在遮挡发生时暂停跟踪。

3. 也可以设计有记忆模块的跟踪器,在遮挡后快速重新检测目标,重定位。

4. 群跟踪方法可以利用跟踪器集合的多视角信息增强遮挡处理。但需要解决数据关联问题。

5. 增加跟踪器和检测器协同,遮挡后利用检测器重新定位目标。

设计

使用多模板策略增强大目标形变鲁棒性的模板更新策略可以这么设计:

1. 初始化时提取目标区域的多个子模板,如4个子模板。

2. 在跟踪过程中,持续对每个子模板进行单独跟踪,得到各自的跟踪结果。

3. 根据多个子模板跟踪结果,结合其置信度,采用投票或加权融合等策略获得最终跟踪框。

4. 当跟踪框稳定后,定期更新子模板,attention区域改变时优先更新对应模板。

5. 对跟踪敏感区域提取更多子模板;对稳定区域提取较少模板。

6. 引入模板重要性概念,重要模板赋予更大权重。根据跟踪效果不断更新每个模板的重要性。

7. 当子模板跟踪效果持续下降时,将其删除重新初始化。

8. 也可以在线生成形变模板,根据跟踪框实时估计目标形变,增强模板多样性。

9. 模板数量不宜太多,4-6个可获得好平衡。

在多模板跟踪中,为了使子模板能够自主成长,我们可以考虑以下几点:

1. 设定子模板的生命周期,比如跟踪50帧后收集新模板取代老模板。

2. 当子模板的跟踪效果持续下降时,说明该模板过时失效,需要更新模板。

3. 对关键子模板区域提取新模板进行增量更新,而不是完全替换,保留目标历史信息。

4. 给每个子模板设置成长概率,根据其跟踪贡献动态调整概率,高质量模板有更大概率被保留。

5. 引入模板质量评估机制,可以是跟踪误差,特征匹配度等。质量低的模板优先更新。

6. 跟踪框稳定时,自动增量采集新模板。注意引入冷却时间避免过于频繁更新。

7. 对目标Attention区域的模板,增加其学习率,快速响应目标变化。

8. 可考虑生成对抗网络或增强学习的方式自动生成硬样本模板。

9. 利用跟踪框回归分支预测目标形变,据此产生新形变模板。

在多模板跟踪器初始化时,多个子模板通常是从同一目标区域提取的,所以初始阶段子模板是一样的。具体来说,初始化时的多子模板生成流程如下:

1. 输入第一帧,检测到目标,获取目标框(例如A)。

2. 在目标框A内部,提取出多个子模板(例如A1、A2、A3)。这些子模板内容基本一致,都反映目标框A区域的视觉信息。

3. 对每个子模板单独初始化跟踪器,形成一个跟踪器组。

4. 在跟踪过程中,根据每个跟踪器的结果,通过融合获得最终目标框。

5. 当跟踪稳定后,开始更新子模板,引入更多变化。

跟踪后期实现子模板自主成长引入差异,可以通过以下几种策略:

1. 更新部分子模板不要全部子模板一起更新,而是每次只更新一两个子模板,让其他模板保持原样。这样可以引入递进差异。

2. 增量更新子模板不要完全替换子模板,而是基于原模板做增量更新,只更新关键部分,保持模板历史信息。

3. 根据跟踪质量更新跟踪质量较低的子模板优先更新,质量高的保留以提供跟踪稳定性。

4. 增加模版随机性加入一些随机采样策略,产生比较不同的新模板,增加模板的多样性。

5. 预测目标形变根据跟踪框预测目标形变,生成形变模板,引入更多变化。

6. 权重衰减机制随着模板使用时间增加,降低其权重,让新模板起主导作用。

7. 模板生命周期设置子模板的最大使用周期,到期后重新采集模板。

---

        这些策略需要根据跟踪场景、目标特点等综合考虑设计,需要一定经验和调试。与直接通过模型端到端学习更新模板相比,手动设计策略可以更明确地控制模板更新的方式,降低模型随机性,保证模板质量。但也缺乏一定的自适应能力和泛化能力。未来研究可考虑在策略框架内加入学习成分,实现更自动化的模板管理。可以考虑以下几个方向:

1. 强化学习

将模板更新看作为一个决策过程,根据跟踪效果反馈设计奖励函数,应用强化学习算法自动学习模板更新策略。

2. 元学习

利用多个视频构建模板更新的元数据集,学习一个通用的模板更新策略,应用于新视频。

3. 对抗学习

引入生成对抗网络,生成难以跟踪的硬样本模板,增强模型鲁棒性。

4. 自监督学习

使用目标预测任务作为附加监督信号,预测目标未来状态,引导模板更新。

5. 半监督学习

利用有标注和无标注数据,学习区分高低质量模板的判别器,指导模板选择。

6. 预测模块

增加神经网络模块预测目标形变、视觉pattern等,生成新模板。

7. 关联分析

建模模板之间关联关系,进行关联学习分析,指导组合complementary模板。

8. 策略融合

学习组合不同手动设计策略,进行策略融合产生混合更新方案。

主要思路是在策略框架内加入学习机制,利用数据驱动自动调整或生成模板更新策略,减少手工设计需要,提高适用性。但学习组件需要慎重设计,避免引入过多随机性。