视频分割大结局 | 浙大最新SAM-Track：通用视频分割一键直达！

  编辑 | 新智元

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【语义分割】技术交流群

后台回复【分割综述】获取语义分割、实例分割、全景分割、弱监督分割等超全学习资料！

近期，浙江大学ReLER实验室将SAM与视频分割进行深度结合，发布Segment-and-Track Anything （SAM-Track）。

SAM-Track赋予了SAM对视频目标进行跟踪的能力，并支持多种方式（点、画笔、文字）进行交互。

在此基础上，SAM-Track统一了多个传统视频分割任务，达成了一键分割追踪任意视频中的任意目标，将传统视频分割外推至通用视频分割。

SAM-Track具有卓越的性能，在复杂场景下仅需单卡就能高质量地稳定跟踪数百个目标。

项目地址：https://github.com/z-x-yang/Segment-and-Track-Anything

论文地址：https://arxiv.org/abs/2305.06558

效果展示

SAM-Track支持语言输入作为Prompt。比如，给定类别文本「熊猫」，便可一键实例级分割追踪所有属于「熊猫」这一类别的目标。

也可进一步给出更详细的描述，比如输入文字「最左边的熊猫」，SAM-Track可以定位至特定目标进行分割追踪。

相较于传统视频追踪算法，SAM-Track的另一个强大之处在于可对大量目标同时进行跟踪分割，并自动检测新出现的物体。

SAM-Track还支持多种交互方式组合使用，用户可根据实际需求搭配。比如使用画笔来框定与人体紧密连接的滑板，防止分割多余物体，而后使用点击选择人体。

全自动视频目标分割与追踪自然也不在话下，各种应用场景包括街景、航拍、AR、动画、医学图像等，均可一键分割追踪并自动检测新出现的物体。

如果对自动分割结果不满意，用户可在此基础上进行编辑修正，例如使用点击来修正过分割的电车。

同时最新版本的SAM-Track支持对追踪结果进行在线浏览，可选择中间任意一帧的分割结果进行修改和新增目标，并再次追踪。

为了方便用户线上体验，项目提供了WebUI，可通过Colab一键部署：

模型组成

SAM-Track模型基于ECCV'22 VOT Workshop四个赛道的冠军方案DeAOT。

DeAOT是一个高效的多目标VOS模型，在给定首帧物体标注的情况下，可以对视频其余帧中的物体进行追踪分割。

DeAOT采用一种识别机制，将一个视频中的多个目标嵌入到同一高维空间中，从而实现了同时对多个物体进行追踪。

DeAOT在多物体追踪方面的速度表现能够与其他针对单个物体追踪的VOS方法相媲美。

此外，通过基于分层的Transformer的传播机制，DeAOT更好地聚合了长时序和短时序信息，表现出了优异的追踪性能。

由于DeAOT需要参考帧的标注来初始化，为了提高便捷性，SAM-Track使用了最近在图像分割领域大放异彩的Segment Anything Model（SAM）模型来获取标注信息。

利用SAM出色的零样本迁移能力，以及多种交互方式，SAM-Track能高效地为DeAOT获取高质量的参考帧标注信息。

虽然SAM模型在图像分割领域表现出色，但它无法输出语义标签，且文本提示也不能很好地支持Referring Object Segmentation及其他依赖深层语义理解的任务。

因此，SAM-Track模型进一步集成了Grounding-DINO，实现了高精度的语言引导的视频分割。Grounding DINO是一个开放集合目标检测模型，具有很好的语言理解能力。

根据输入的类别或目标对象的详细描述，Grounding-DINO可以检测到目标并返回位置框。

SAM-Track模型架构

如下图所示，SAM-Track模型支持了三种物体跟踪模式，分别为交互跟踪模式、自动跟踪模式以及融合模式。

对于交互跟踪模式，SAM-Track模型首先会应用SAM，在参考帧中利用点击或画框的方式选中目标，直到得到用户满意的交互分割结果。

如果想要实现语言引导的视频物体分割，SAM-Track则会调用Grounding-DINO根据输入的文本，先得到目标物体的位置框，并在此基础上通过SAM得到感兴趣物体的分割结果。

最后DeAOT将交互分割结果作为参考帧，对选中的目标进行追踪。在追踪的过程中，DeAOT会将过去帧中的视觉嵌入和高维ID嵌入分层传播到当前帧中，实现逐帧追踪分割多个目标对象。因此，SAM-Track能过支持多模态的交互方式来追踪分割视频中的感兴趣物体。

然而，交互跟踪模式无法处理视频中出现的新出现的物体。限制了SAM-Track在特定领域的应用，例如，自动驾驶，智慧城市等。

为了进一步拓展SAM-Track的应用范围和性能，SAM-Track实现了自动跟踪模式，对视频中出现的新物体进行追踪。

自动跟踪模式通过Segment Everything和Object of Interest Segmentation两种方式来获得每n帧中新出现的物体的注释。对于新出现的物体的ID分配问题，SAM-Track采用了比较掩码模块（CMR）来确定新的对象的ID。

融合模式则是把交互跟踪模式和自动跟踪模式相结合。通过交互式跟踪模式用户可以很方便地获取视频中第一帧的注释，而自动跟踪模式则可以处理视频后续帧中出现的未被选中的新对象。追踪方法的组合扩大了SAM-Track的应用范围，增加了SAM-Track的实用性。

参考资料：

https://github.com/z-x-yang/Segment-and-Track-Anything

（一）视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

视频官网：www.zdjszx.com

（二）国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

（三）【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称