Visual Prompt Multi-Modal Tracking阅读笔记

摘要

可见模态对象跟踪产生了一系列下游多模态跟踪支流。 为了继承基础模型的强大表示，多模态跟踪的自然操作方法是对基于 RGB 的参数进行全面微调。 尽管有效，但由于下游数据稀缺和可迁移性差等原因，这种方式并不是最优的。在本文中，受最近语言模型提示学习成功的启发，我们开发了视觉提示多模态跟踪（ViPT）， 它学习模态相关的提示，使冻结的预训练基础模型适应各种下游多模态跟踪任务。 ViPT 找到了一种更好的方法来激发大规模预训练的基于 RGB 的模型的知识，同时只引入一些可训练的参数（不到模型参数的 1%）。 ViPT 在多个下游跟踪任务（包括 RGB+Depth、RGB+Thermal 和 RGB+Event 跟踪）上优于完全微调范例。 大量实验显示了视觉提示学习在多模态跟踪方面的潜力，ViPT 可以在满足参数效率的同时实现最先进的性能。 代码和模型可在 https://github.com/jiawen-zhu/ViPT 获得。

1 引言

1. 什么是多模态跟踪？
   RGB-T：利用红外光和可见光模态融合进行跟踪；
   RGB-D：深度图：包含与视点场景对象表面距离有关信息的图像通道，通道本身类似于灰度图像，每个像素值是传感器测出距离物体的实际距离。RGB-D则是利用深度图与可见光进行融合实现跟踪；
   RGB-E：事件相机：异步回传相机感受野中每个像素点的变化情况，