零样本分割模型：FastSAM【Fast Segment Anything】

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】	10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】	12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】	14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】	16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】	18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】	20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】	22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】	24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】	26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】	28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】	30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】	32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】	34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】	38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】	40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】	42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】	44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】	46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】	48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】	50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】	52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】	54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】	56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】	58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】	60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】	62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】	64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】	66.【基于深度学习的安检X光危险品检测与识别系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

FastSAM，由中国科学院，中国科学院大学，Objecteye Inc.，武汉人工智能研究所

1. FastSAM结构

1.1. 全实例分割阶段

• 使用YOLOv8检测主干，其中YOLACT原则应用于例如分割，即YOLOv 8-seg。
• 它首先通过骨干网络和特征金字塔网络（FPN）从图像中提取特征。
• 检测分支输出类别和边界框，而分割分支输出k个原型（FastSAM中默认为32）沿着k个掩码系数。
• 分割和检测任务是并行计算的。
• 分割分支输入高分辨率特征图。该贴图通过卷积层进行处理，放大，然后通过另外两个卷积层以输出掩码。
• 与检测头的分类分支类似，掩模系数的范围在-1到1之间。实例分割的结果是通过将模板系数与原型相乘，然后将它们相加得到的。

原型和掩码系数为快速引导提供了大量可扩展性。此YOLOv 8-seg方法用于所有实例分割阶段。

1.2.引导提示阶段

1. 点提示：与SAM类似，前景/背景点可以作为提示。
2. 框提示：目的是通过所选框识别具有最高IoU分数的掩码，从而选择感兴趣的对象。
3. 文本提示：如上所示，使用CLIP模型提取文本的相应文本嵌入。然后确定相应的图像嵌入，并使用相似性度量将其与每个掩模的固有特征相匹配。然后选择与文本提示的图像嵌入具有最高相似性分数的掩码。

1.3.数据

• 只有SAM使用的所有SA-1B数据集的1/50用于训练FastSAM模型。

2.结果

2.1.运行结果对比

虽然FastSAM生成了相对令人满意的结果，如图所示，FastSAM在速度方面在所有提示数字上都超过了SAM。此外，FastSAM的运行速度不会随着提示而改变。

2.2.零样本边缘检测

FastSAM的参数明显较少（仅68M），它生成的边缘图一般都很好。

FastSAM与SAM具有相似的性能，特别是更高的R50和更低的AP。

2.3.零拍摄对象提示分割

• 虽然其他方法都是有监督的方法，但FastSAM和SAM实现了完全零样本分割。
• FastSAM和SAM在AR@10精度下表现不佳。然而，在AR@1000中，FastSAM显著优于OLN [17]。

FastSAM大大超过SAM的计算最密集的模型SAM-HE64，超过5%。

• 然而，与在LVIS数据集上训练的ViTDet-H相比，它的性能不足。

同样，FastSAM的掩码提示生成在Recall上相对较低。

2.4.零样本实例分割

在这项任务中，FastSAM未能实现高AP。

但定性地说，FastSAM仍然可以根据文本提示很好地分割对象。

2.5.现实世界的应用

• 图7：通过前景/背景点（分别为FastSAM点中的黄色和洋红点）或框引导选择，FastSAM可以在准确的缺陷区域上进行分割。
• 图8：FastSAM在Everything模式下与SAM只有很小的区别，因为它分割了更少的与任务无关的背景对象。

• 图9：FastSAM在分割规则形状物体方面表现良好，但与SAM相比，分割出的与阴影相关的区域较少。
• 图10：在某些图像上，FastSAM甚至可以为大型物体生成更好的遮罩。

2.6.失效方面

• 低质量的小尺寸分割掩模具有大的置信度分数。
• 一些微小物体的掩模往往位于广场附近。

---

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！