SAM
组件一、可提示的分割任务
在自然语言处理(NLP)领域,基础模型通过“提示”技术实现对新数据集和任务的零样本和少样本学习。借鉴NLP的研究进展,SAM提出了多样化可提示的分割任务,旨在根据任何分割提示返回有效的分割掩码;
任务目标
定义:给定一张图片和一个分割提示,模型应返回一个合理的掩码,标识出图片中相应的对象;
提示: 提示可以包含空间信息或文本信息,用于指定图片中要分割的对象
有效性: 即使提示存在歧义,模型也要为可能的对象提供一个合理的掩码
零样本分割
组件二:SAM分割模型
通过结合强大的图像编码器、灵活的提示编码器和轻量级的掩码编码器,来实现图像分割
核心模块:图像、提示、轻量级掩码编码器
重用图像嵌入:通过分离图像编码和提示/掩码解码过程重用同一图像嵌入,降低计算成本;
高效实时处理:结合简洁的设计与快速的提示响应,SAM模型能在50毫秒内准确预测掩码
灵活的提示支持:模型能够良好适应点、框、掩码与自由文本提示。如预测单个提示的多个掩码,自然地处理图像中的模糊性问题,提供精确分割;
组件三、数据引擎
解决:1.泛化能力
2.数据稀缺性
三个阶段:辅助手动阶段、半自动阶段、全自动(平均每个图像生成100个高质量掩码)
SA-1B数据集
掩码高质量,多样
全自动收集
1.图像编码器:捕捉图像的关键信息和结构
模型的核心是一个掩码自编码器,利用一种视觉变换技术来增强处理能力
编码器将原始图像缩小16倍,从而得到一个特征密集的嵌入版本
2.提示编码器:自适应多种不同类型的用户输入
包括稀疏提示(点选、框选)、文本提示、密集提示
3.掩码编码器:有效结合图像嵌入和提示嵌入
SAMed架构:SAMed继承自SAM的架构,通过冻结图像编码器的所有参数并设计可训练的分支来适应医学SAMed架构:图像特征提取
LoRA在图像编码器中的应用:如何在图像编码器中应用LoRA策略来更新参数,以减少计算开销并保证分割性能
提示编码器和掩码解码器:SAMed在推理过程中不需要任何提示即可执行自动分割,修改SAM的掩码解码器以适应每个语义类别的输出
SegGPT是一个能够根据上下文对各种分割任务进行统一处理的模型。它通过将不同类型的分割数据转换为相同的图像格式,实现了对各种分割任务的适应。
训练方法:SegGPT的训练被构建为一个上下文着色问题,每个数据样本都有随机的颜色映射。目标是根据上下文完成多样化任务,而不是依赖特定颜色。
上下文着色、随机着色、混合上下文
后向匹配(Backward Matching, BM)目的:确保从参考图像的感兴趣区域(RoI)或背景中正确匹配提示点。
挑战:医学图像背景复杂,组织边缘模糊,仅依赖前向匹配可能导致分割结果不准确。
排除错误提示点:对前向匹配得到的提示点执行后向匹配,排除错误点,保留正确匹配的提示点。