Segment Anything

项目主页：Segment Anything

简介

将prompt learning 引入至视觉任务中，设计了图像分割任务预训练模型。提示词可以是位置点、矩形框、文本和掩码等。

图1：方法主要部分。（图来自论文）

task: 为能避免歧义，对于每个prompt输出三个mask，分别对应整体、部分和更小的部分。
model: 一个大的image enocder，不同类型prompt的encoder，然后mask decoder （包含自注意力和交叉注意力）预测。

图2：模型结构。（图来自论文的博客）

data: 三阶段生成了1.1B高质量masks的大规模数据集SA-1B。（1）人工自由标注，但无需给出label。（2）训练好的模型先给出部分高可信的mask，再人工补充。另外训练一个bounding box detector判断是否为可信的mask。（3）全自动地在新图像中生成masks。 IoU prediction module筛选可信的masks，NMS过滤重复masks。相应地，模型也是分阶段训练。

Demo: 给出的测试Demo中，image embedding 是服务端计算完传输至用户端，而在用户端给出不同类型的prompt ，在浏览器中使用cpu计算prompt embedding 和mask decoder 推理。下面视频来自项目主页说明。

segment_anything_demo