Fast Segment Anything 模型快速上手指南

Fast Segment Anything 模型快速上手指南

FastSAMFast Segment Anything项目地址:https://gitcode.com/gh_mirrors/fa/FastSAM

项目介绍

Fast Segment Anything（简称FastSAM）是由CASIA-IVA-Lab研发的一款模型，它基于卷积神经网络（CNN），专门用于图像分割任务。此模型的独特之处在于其训练数据仅用了Segment Anything Model（SAM）发布的SA-1B数据集的2%，却能在运行速度高出50倍的情况下达到可比拟的性能表现。

FastSAM在处理任何对象的分割时展现出了高效性，这归功于其设计思路和优化策略。自发布以来，该模型不断更新迭代，如引入边缘平滑技术以改善锯齿效应，以及将语义类别标签加入到FastSAM中以提高场景理解能力。此外，社区贡献者们还开发了多个版本，包括FastSAM_Awesome_TensorRT等，进一步提升了模型的效率及实用性。

项目快速启动

安装环境

首先，你需要通过git克隆FastSAM仓库至本地：

git clone https://github.com/CASIA-IVA-Lab/FastSAM.git

创建虚拟环境并激活：

conda create -n FastSAM python=3.9
conda activate FastSAM

安装必要的依赖包：

cd FastSAM
pip install -r requirements.txt

确保你的系统已正确安装PyTorch和TorchVision，且它们的版本至少分别为1.7和0.8。

快速体验

下面是一段示例代码，演示如何加载一个图像并使用FastSAM进行全图分割：

from fastsam import FastSAM, FastSAMPrompt

model = FastSAM('/path/to/your/model_weights/FastSAM.pt')
image_path = '/path/to/your/image.jpg'
device = 'cuda' if torch.cuda.is_available() else 'cpu'

everything_results = model(image_path, device=device, retina_masks=True,
                           imgsz=1024, conf=0.4, iou=0.9)
prompt_process = FastSAMPrompt(image_path, everything_results, device=device)

# 全图分割提示
ann = prompt_process.everything_prompt()
prompt_process.plot(annotations=ann, output_path='/path/to/output_image.jpg')

# 更多模式可以探索
# box_prompt, text_prompt, 或 point_prompt
# 如下所示:
# ann = prompt_process.box_prompt(bboxes=[[x1, y1, x2, y2]])
# ann = prompt_process.text_prompt(text='a description of what you want to segment')
# ann = prompt_process.point_prompt(points=[[x1, y1], ...], point_label=[label1, ...])

应用案例和最佳实践

FastSAM适用于各种应用场景，例如自动识别医学图像中的细胞、检测无人车行驶过程中的障碍物等。以下是一个常见的使用场景——动物检测：

假设我们有一张包含狗狗的图片，我们可以使用上述代码片段对这张图片进行全图分割或选择特定的区域进行分割。例如，使用点模式提示来定位狗的位置：

ann = prompt_process.point_prompt(points=[[x_dog, y_dog]], point_label=[1])

其中(x_dog, y_dog)是狗在图像上的坐标位置，我们将得到一张突出显示狗部分的分割结果。

典型生态项目

FastSAM的流行催生了一系列围绕它的衍生工具和框架，这些项目旨在拓展和优化其功能，使其适应更广泛的场景需求。

语义增强版FastSAM

由KBH00贡献的Semantic FastSAM增加了语义类标签，使得模型能够更好地理解和区分不同的物体类型。

Ultralytics 集成

Ultralytics团队将其集成到了YOLOv8模型库中，使开发者能够在目标检测之外轻松添加分割功能。

FastSAM_Awesome_TensorRT

ChuRuaNh0提供了一个TensorRT版本的FastSAM，显著提高了在GPU上的执行速度。

综上所述，FastSAM不仅在性能上有卓越的表现，在社区支持和生态系统构建方面也展现了极强的生命力，值得各位开发者关注和尝试。

FastSAMFast Segment Anything项目地址:https://gitcode.com/gh_mirrors/fa/FastSAM