CVPR 2025 | 多视角视觉目标跟踪新突破！MITracker：高效融合多视角特征，解决遮挡与目标丢失问题！...

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：CVer

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

Title: MITracker: Multi-View Integration for Visual Object Tracking

论文: https://arxiv.org/abs/2502.20111

主页: mii-laboratory.github.io/MITracker/

动机：

视觉目标跟踪是计算机视觉领域的核心任务之一，广泛应用于增强现实、自动驾驶等场景。然而，传统的单视角跟踪方法在面对遮挡、目标丢失等挑战时表现不佳。尽管多视角跟踪（MVOT）通过多视角信息的互补性提供了潜在的解决方案，但该领域的发展受到以下限制：

1. 数据集限制：现有的多视角数据集大多局限于特定类别（如行人或鸟类），缺乏通用性。

2. 方法限制：现有的多视角跟踪方法主要依赖于检测和重识别技术，难以实现类无关的目标跟踪。

3. 跨视角信息融合不足：现有的方法在跨视角信息融合方面效果有限，难以应对复杂的空间关系和视角变化。

为了解决这些问题，我们提出了一个新的多视角跟踪数据集 MVTrack 和一个高效的多视角跟踪方法 MITracker，旨在通过多视角信息的融合提升跟踪的鲁棒性和准确性。

本文贡献：

1. MVTrack数据集：我们构建了一个大规模的多视角跟踪数据集，包含234K高质量标注帧，涵盖27个不同类别的物体和9种具有挑战性的跟踪属性（如遮挡、变形等）。MVTrack是首个支持类无关多视角跟踪训练和评估的综合性数据集。

2. MITracker方法：我们提出了一种新颖的多视角跟踪方法MITracker，通过将2D图像特征转换为3D特征体积，并利用鸟瞰图（BEV）引导的多视角信息融合机制，显著提升了跟踪的稳定性和准确性。

3. 性能提升：MITracker在MVTrack和GMTD数据集上均达到了最先进的性能，特别是在遮挡和目标丢失等复杂场景下，恢复率从56.7%提升至79.2%。

MVTrack数据集特性:

• 多视角数据：3-4个同步相机拍摄，确保多视角重叠。

• 丰富类别：涵盖27个日常物体，从小型物体（如笔）到大型物体（如雨伞）。

• 高质量标注：每帧提供精确的2D边界框（BBox）和鸟瞰图（BEV）标注。

• 挑战性属性：包含9种常见的跟踪挑战，如背景杂乱、运动模糊、部分遮挡、完全遮挡、目标消失等。

• 大规模数据：包含260个视频，总计234,430帧，分为训练集、验证集和测试集。

MITracker方法亮点:

1. 多视角特征融合：通过将多视角的2D特征投影到3D空间，并利用BEV引导的特征聚合，显著增强了模型的空间理解能力。

2. 空间增强注意力机制：通过引入3D感知的注意力机制，MITracker能够在目标丢失或遮挡的情况下快速恢复跟踪。

3. 高效跟踪：MITracker能够在任意长度的视频帧中跟踪任意物体，并在多视角场景下保持稳定的跟踪效果。

实验与结果:

我们在MVTrack和GMTD数据集上进行了广泛的实验，MITracker在多个评估指标上均达到了最先进的性能。特别是在多视角场景下，MITracker的表现显著优于现有的单视角跟踪方法，展示了其在复杂场景下的强大鲁棒性。

未来工作:

我们计划进一步扩展MVTrack数据集，增加室外场景和更多类别的物体，以提升模型的泛化能力。同时，我们也将探索减少对相机校准的依赖，使MITracker在更多实际场景中应用。

总结:

MITracker通过多视角信息的有效融合，解决了传统单视角跟踪中的遮挡和目标丢失问题，为多视角视觉目标跟踪领域提供了新的解决方案。我们相信，MVTrack数据集和MITracker方法将为未来的研究提供强有力的支持，推动视觉目标跟踪技术的进一步发展。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理：cv3d001

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球(点开有惊喜)，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉工坊官网：www.3dcver.com

卡尔曼滤波、大模型、扩散模型、具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

▲ 长按扫码学习3D视觉精品课程

3D视觉模组选型：www.3dcver.com

— 完 —

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~