Introduction
提出的目的:
1.现有的应用像自动驾驶,AR等来说都是需要temporal localization beyond image-level segmentation(时序定位而不仅是图片分割)
2. 一个好的分割模型不应该仅仅局限于图片领域,而是图视频两者兼具
3. 视频的分割,需要进行时空分割物体,需要有时空分割的能力,比起图片分割更为困难。除此之外,视频相较于图片会有物体被遮挡等问题,即更为困难的分割。除此之外,视频拥有多帧的特点,如何“高效”处理这些帧也是一个难点。毕竟没卡 0.0
Our work
- 提出了集合图片和视频的分割模型,(将图片当作一帧的图片):图片-short video-long video
- 我们的工作集中于Promptable Visual Segmentation (PVS) task,可以人先指定感兴趣的区域作为prompt生成时空mask(the spatio-temporal mask (i.e., a ‘masklet’)),其他帧基于这个mask然后得到提示也进行分割。
- 从intro看出就是提了一个memory将之前分割结果和交互历史进行存储,以便后续分割得到prompt。 Our streaming architecture is a natural generalization of SAM to the video domain, processing video frames one at a time, equipped with a memory attention module to attend to the previous memories of the target object. 一个更general的版本,但是感觉看起来方法不新emmm,我到看方法部分再看看。memory部分其实是比较常用的。
- We employ a data engine to generate training data by using our model in the loop with annotators to
interactively annotate new and challenging data. - 利用这个模型生成了更好的数据集,不局限于特定的类别,而是包括物体的组件等都有标注。并且这个数据engine生成速度很快8*faster,而且生成的数据包括一些特别小的部分和时而消失时而出现的物体。(更快生成更接近现实的标注数据) - 效果:超过了之前sam在所有图片领域分割效果,打败了所有视频物体分割benchmark模型,且效果是所有图片视频分割benchmark中最好的,而且是zero-shot(泛化能力强)。交互步骤也降低了,速度也更快了。
总的话来说:更快更好的general视频图片分割模型。 - SAM2的流式处理架构使得它能够逐帧处理视频数据,这在实时应用中非常有用。(重点)
Model
新任务:Task: promptable visual segmentation- 这是一个比较general的任务,你可以给的prompt随意一帧也可以在多帧,可以是点击也可以是一个bbox或者mask等。比起其他的分割任务,它这个是所有此类任务的集合。(Our work shares a similar goal to these works to segment objects across videos with a good interactive
experience, and we build a strong model along with a large and diverse dataset in pursuit of this goal)
模块: 感觉每个模块都用效果好的和速度快的来试
- Image encoder. 和之前不一样用了一个有多尺度特征的编码器( hierarchical image encoder),因为可以在mask decoder用上(解决高分辨率问题),这也是它速度快的原因,比较轻量化。在后续补充说明中,强调了用了哪种位置编码,反正没用相对位置编码,看了看实验部分主要是为了速度和效率考虑的。
- Memory attention. We use vanilla attention operations for self- and cross-attention, allowing us to benefit from recent developments in efficient attention kernels。补充说明了加了2d位置编码
- Prompt encoder and mask decoder. 此模块主要强调 prompt的general,以及不同prompt的处理方法。然后mask decoder有两块不一样:一是 用了 skip connection to incorporate high-resolution information for mask decoding。二是显示的建模 是否存在prompt需要分割的物体:we add an additional head that predicts whether the object of interest is present 。(视频有些帧可能目标物体消失了)补充说明部分是说如果不确定物体时候,输出多个mask
- Memory encoder. 将生成的mask进行conv编码+原来的image encoder出来的编码 再进一个conv得到的feat存储进bank中,其实我有个疑问,那如果这个mask是错误的呢?是不是要正确的才存储?或者说分数要达到一定程度。
- Memory bank. 这个bank存储上面encoder的编码和prompt frame编码,利用了一个 FIFO 队列来存储,即先进先出存储当前帧的前N帧(context最相关更有借鉴价值),其实这个FIFO在很多视频地方也用过的。前面的内容统一称为spatial feature maps。还有一类也存储了,即object pointers,作为high-level 特征也是轻量化的特征。并且上述两类特征中前N帧特征会加入时序位置编码来让模型学会short-term object motion。 补充说明编码是将256dim的特征分成了4个token,每个token64dim变得更smaller(实验部分说的)。
DATA AND TRAINING
提了一个很大的数据集
训练用了很多trick可以去看看补充部分,后续有时间看吧。
Question
我其实还有一些问题
比如
这里面黄色这块内容为什么有了memory就能解决这个问题呢。
Conclusion
感觉收获满满
1.每个组件之前都有,怎么组合能够达到效果最好,效率最高。
2.提了一个非常nice的数据集是对这个行业的非常大的贡献。
3.怎么选择好的pretrain encoder
4.memory如何轻量化和最有价值化,相信每个搞video的人多多少少都知道memory哈哈哈…
5.实时处理是亮点,随机prompt来让整体更方便用户交互使用也是亮点
膜拜~
另外其他资料:
知乎写的也比较nice