Paper reading: Segment Everything Everywhere All at Once

受启发于大语言模型中基于提示的通用接口，提出SEEM，一个可提示的、交互的模型，用来在图像中一次性地分割任何地方的任何物体。四个需求：

1、多功能性，为不同类型的提示引入了多功能提示引擎，包括点、框、涂鸦、掩码、文本和其他图像的引用区域；

2、组合型：通过学习视觉和文本提示的联合视觉语义空间来组成动态查询进行推理的组合性

3、交互性：通过结合可学习记忆的提示信息，通过掩码引导的交叉注意力来保留对话历史信息；

4、语义意识：通过使用文本编码器对文本查询和掩码标签进行编码来进行开放式词汇分割。

SEEM和SAM分割大模型之间的最主要的区别，在于是有语义感知的，能够适应于开放环境中。

网络框架图：

这一组截图太惊艳了，相当于能够很好地理解文本信息，进而有目标的分割。 

同样可以处理视频目标分割任务：