Generative-based Fusion Mechanism forMulti-Modal Tracking

基于生成的多模态跟踪融合 

Introduction： 

        本文讨论了应用 GM 解决多模态信息融合的潜力，并提出了一种用于多模态跟踪（GMMT）的新颖的基于生成的融合机制，如图 1 所示。为了学习输入和输出之间的外部投影，以及内部数据分布，GM 需要更长的训练时间和更大的训练数据量。然而，尽管近年来出现了多个多模态数据集 [4]、[12]、[15]，其中包含在不到 1000 个场景中捕获的约 1000 个视频，但与广泛使用的数据集相比，仍然存在显着的多样性差距训练 GM，例如 CelebA[16]。因此，用随机因子分组的多模态特征对被制定为GMMT的输入，以避免过度拟合。此外，为了促进测试时间内特定图像对的自适应融合，来自两种模态的原始信息都保留数据分布，GM需要更长的训练时间和更大的训练数据量。然而，尽管近年来出现了多个多模态数据集 [4]、[12]、[15]，其中包含在不到 1000 个场景中捕获的约 1000 个视频，但与广泛使用的数据集相比，仍然存在显着的多样性差距训练 GM，例如 CelebA[16]。因此，用随机因子分组的多模态特征对被制定为GMMT的输入，以避免过度拟合。此外，为了促进测试时特定图像对的自适应融合，来自两种模态的原始信息被保留作为条件。基于上述考虑，本文实现了CGAN[17]和DM[18]。基于生成的融合机制赋予融合模型更好的噪声感知能力，因此融合的特征具有方向性且噪声较少，如图4（c）和（d）所示，这使得跟踪器成为一个更准确的一个。为了验证所提出的融合机制的有效性，它在几个 RGB-T 基线跟踪器上实现。所有评估指标都可以获得一致的改进。此外，还对最大的 RGB-D 基准 [4] 进行了扩展实验，以证明所提出的融合策略的泛化性。

        我们探索以生成方法解决多模式跟踪的信息融合部分的潜力。为了实现这一目标，提出了一种新的基于生成的融合机制，该机制使融合的特征更具辨别力。 • 提出了一种通用的融合机制，并在多个基线方法、多个基准测试和两个多模态跟踪任务上证明了其泛化能力。