ICCV 2023｜SegPrompt：开放世界分割SOTA！（沈春华团队）

作者 | 李太白  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/651858313

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【分割】技术交流群

本文只做学术分享，如有侵权，联系删文

导读

 

本文提出了包含Prompt learning机制的分割网络，在保持分割能力的同时，运用到类别信息。

论文链接：https://arxiv.org/abs/2308.06531

代码链接：https://github.com/aim-uofa/SegPrompt

这篇文章是由浙大和阿德莱德大学合作，在2023.8.12上传到arxiv上的文章，创新性强，解决的问题也非常有挑战性，值得一读。

背景

之前Open-World Entity Segmentation这篇文章提出了实体分割的概念,只注重分割对象的质量，而不关注对象的类别，在Photoshop这类图像编辑的软件中有着很好的用处。但是对于open-world instance segmentation这个任务来说还远远不够，需要解决在开放世界中未见过的物体分割，以及对分割的物体生成标签。

为此，本文提出了包含Prompt learning机制的分割网络，在保持分割能力的同时，运用到类别信息。

本文的贡献

1. 引入Prompt learning机制，它有效地使用类别信息来改进分割结果

2. 第一个关注开放世界分割中的长尾效应

3. 类别级的提示信息确实能够提升分割质量，能扩展到少样本的分割

文中将物体分为Known（训练集中有标注）、Seen （训练集中无标注，测试集有标签，看到了但不知道是啥）、Unseen（训练集没出现过，测试集中有标注，开放世界分割较常出现的问题）

方法

总览

模型主要为三个分支，Prompt Extraction Branch，Prompt-based Prediction Branch， Class-agnostic Branch。Prompt Extraction Branch以提示的形式提供类别级实例特性，然后Prompt-based Prediction Branch使用这些提示来预测相应的每类实例掩码，除了少数与提示相关的嵌入外，所有参数都与类别无关的分割网络共享。

Class-agnostic Baseline Branch

采用Mask2Former作为基础的框架，可参考Mask2Former(https://link.zhihu.com/?target=https%3A//blog.csdn.net/bikahuli/article/details/121991697)

Prompt Extraction Branch

为了提取相关的prompt特征p ,首先经过一个example masked attention模块，与masked attention不同它增加了给定mask，因此它聚合了给定mask的信息，能够使利用提取的prompt分割未见过的物体（这块有点疑问）

然后经过self-attention 做优化

再使用掩码损失来监督每个示例查询，即Example Supervision

最后更新prompt特征

Prompt-based Prediction Branch

这个分支主要是利用提取的prompt并结合类别信息进行预测掩码

首先，对于每一个训练样本，选择（selector）和复制（Duplicate）以创建候选查询 ,初始化方式如下

 是类内嵌入, 它是跨类别共享的, 并提供了类内不平衡, 允许属于同一类别的查询关注不同的对象。 是特定类别的嵌入。

然后经过普通的Masked Attention

再经过Ref Attention：不仅在  中编码查询之间的关系，而且还将基线查询  的信息泄露到  中。 表达式如下

即  的value和key融合了q的信息，q即Class-agnostic Baseline Branch中提取的特征。

结果

从最后的结果看，SegPrompt能大大提升在开放世界中的分割能力

虽然本文中一些细节还未完全理解，但是本文的创新点和结果是显著的，尤其是对未见过物体的识别。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！