SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪,包括街景、AR、细胞、动画、航拍等,可同时追踪超过200个物体,为用户提供了强大的视频编辑能力。
Meta AI的SAM「分割一切」模型展现了强大的图像分割能力,但缺乏对视频数据的支持。近期, 浙江大学ReLER实验室的科研人员在最新开源的SAM-Track项目中,解锁了SAM的视频分割能力,即:分割并跟踪一切(Segment-and-track anything,SAM-track) 。SAM-Track在单卡上即可支持各种时空场景中的目标分割和跟踪,包括街景、AR、细胞、动画、航拍等,可同时追踪超过200个物体,为用户提供了强大的视频编辑能力。
项目地址:
https://github.com/z-x-yang/Segment-and-Track-Anything
SAM-Track通过将SAM与最新的高效多物体跟踪算法DeAOT(NIPS2022)结合,能够进行高精度的视频目标分割/跟踪,且可支持全自动和交互式的分割方式。
自动化视频目标分割/跟踪Demo:
交互视频目标分割/跟踪:
1. 通过点击或边界框指定单个目标物体进行分割/跟踪
2. 通过点击添加多个物体进行分割/跟踪
此外, SAM - Track 项目还将提供了WebUI,方便用户开箱即用:
目前,项目V0版本已开源,支持全自动视频分割,项目V 1 版本计划于下周更新,支持交互式视频分割。
项目成员均来自浙江大学计算机学院ReLER实验室。ReLER实验室由浙江大学求是讲席教授杨易于2021年创立。项目成员包括:徐源佑(在读博士),程阳铭(在读硕士),李刘磊(科研助理), 杨宗鑫 (博士后), 王文冠 (百人计划研究员), 杨易 (教授)。
推荐阅读
欢迎大家加入DLer- 计算机视觉技术交流 群!
大家好,群里会第一时间发布 计算机视觉方向的前沿论文解读和交流分享 ,主要方向有: 图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计 等内容。