EdgeTAM：边缘设备上的跟踪神器

EdgeTAM：边缘设备上的跟踪神器

EdgeTAM [CVPR 2025] Official PyTorch implementation of "EdgeTAM: On-Device Track Anything Model" 项目地址: https://gitcode.com/gh_mirrors/ed/EdgeTAM

项目介绍

EdgeTAM 是一个在设备上可执行的 SAM 2 的变体，用于可提示的视频分割和跟踪。它比 SAM 2 运行速度快 22 倍，在 iPhone 15 Pro Max 上无量化时达到 16 FPS。

项目技术分析

EdgeTAM 采用了 SAM 2 的架构，并在其基础上进行了优化，使其更适合在边缘设备上运行。EdgeTAM 采用了轻量级的网络结构，并使用了深度可分离卷积等优化技术，从而在保持性能的同时，大幅降低了模型的计算量。

项目及技术应用场景

EdgeTAM 可用于各种视频分割和跟踪任务，例如：

• 视频监控：EdgeTAM 可用于实时跟踪监控视频中的目标，例如行人、车辆等。
• 智能交通：EdgeTAM 可用于跟踪交通视频中的车辆，并提供车辆计数、流量分析等信息。
• 体育分析：EdgeTAM 可用于分析体育视频中的运动员动作，并提供运动员跟踪、动作识别等信息。
• 人机交互：EdgeTAM 可用于实现基于视频的人机交互应用，例如手势识别、身体姿态估计等。

项目特点

• 速度快：EdgeTAM 比 SAM 2 运行速度快 22 倍，在 iPhone 15 Pro Max 上无量化时达到 16 FPS。
• 高精度：EdgeTAM 在多个视频分割和跟踪数据集上取得了优异的性能。
• 易用性：EdgeTAM 提供了易于使用的 Python API，方便用户进行开发和部署。
• 开源：EdgeTAM 是一个开源项目，用户可以免费使用和修改其代码。

项目性能

EdgeTAM 在多个视频分割和跟踪数据集上取得了优异的性能，例如：

• Promptable Video Segmentation (PVS)：EdgeTAM 在 9 个数据集上的零样本 PVS 准确率达到了 70.0%。
• Video Object Segmentation (VOS)：EdgeTAM 在多个 VOS 数据集上取得了优异的性能，例如在 YTVOS 2019 val 数据集上达到了 86.2% 的 G 准确率。
• Segment Anything (SA)：EdgeTAM 在 SA-23 数据集上取得了 55.5% 的 1 (5) 点击 mIoU 准确率，并达到了 40.4 FPS 的实时处理速度。

总结

EdgeTAM 是一个功能强大、性能优异的视频分割和跟踪工具，它可以帮助用户轻松地完成各种视频分析任务。EdgeTAM 的开源特性使其更加易于使用和推广，相信在不久的将来，EdgeTAM 会成为视频分割和跟踪领域的标准工具之一。

EdgeTAM [CVPR 2025] Official PyTorch implementation of "EdgeTAM: On-Device Track Anything Model" 项目地址: https://gitcode.com/gh_mirrors/ed/EdgeTAM