【从零开始部署SAM（Segment Anything Model ）大模型 1 开源项目介绍与在线测试】

最新推荐文章于 2025-02-27 10:52:46 发布
最新推荐文章于 2025-02-27 10:52:46 发布
阅读量1.9k 收藏 21
点赞数 11
文章标签： python 人工智能 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43649786/article/details/138730287
版权

这里是目录

介绍

SAM（Segment Anything Model）是一个用于图像分割任务的深度学习模型，由Meta的研究者提出。SAM模型旨在提供一个通用的、交互式的图像分割工具，它能够根据用户提供的简单交互式提示（prompts）来分割图像中的任意对象。

SAM模型在图像分割领域提供了一种新的交互方式，它降低了用户参与的门槛，使得没有专业知识的用户也能够进行图像分割任务。此外，它的交互式特性也使得它在某些应用场景下比全自动的分割模型更加灵活和准确。

Segment Anything Model 的目标是生成高质量的对象遮罩（masks），这些遮罩可以通过输入提示（如点或框）从图像中生成。它旨在为图像中的所有对象生成遮罩，具有强大的零样本（zero-shot）性能，能够处理各种图像分割任务

特点

高质量遮罩生成： SAM能够从简单的输入提示生成精确的对象遮罩。
零样本性能： 即使没有针对特定任务的训练，SAM也能在多种分割任务上表现出色。
大规模数据集训练 ：SAM在1100万个图像和11亿个遮罩的数据集上进行了训练

支持的不同模式

基于提示的分割： SAM可以根据用户给出的点或框等提示生成特定对象的遮罩。
自动遮罩生成： SAM还可以自动为整个图像生成遮罩。

编程架构

Python：主要的编程语言，用于实现模型和相关工具。
PyTorch：用于深度学习模型的构建和训练。
TorchVision：用于图像处理和转换。

用途扩展

ONNX导出：SAM的轻量级遮罩解码器可以导出为ONNX格式，以便在任何支持ONNX运行时的环境中运行，例如在浏览器中。
Web演示：提供了一个简单的React应用程序，展示了如何在Web浏览器中使用导出的ONNX模型进行遮罩预测。
模型检查点：提供了不同后端大小的三个模型版本。
数据集：提供了数据集的概述和下载链接，以及如何加载和解码遮罩数据的说明

项目网站

segment-anything

在这里插入图片描述

线上demo

在线测试网址
和项目一样，线上测试网站同样有两种使用方法，全图分割和主动选择
在这里插入图片描述

除了网站提供的图像之外，还支持自己上传图像，以人体的CT扫描图像为例
在这里插入图片描述

在这里插入图片描述
左侧选择栏给了三种模式，点击，框选，和整图分割
点击：
在这里插入图片描述
框选：
在这里插入图片描述
整图分割
在这里插入图片描述

下载

在这里插入图片描述
不过我个人还是建议用Ubuntu新建一个conda环境通过git进行下载
最大的好处是在后续的一系列使用中可以使用import segment_anything从而进行一系列的处理开发，环境配置和ubunut下的一系列开发在下一篇

都看到这了，点个赞再走吧彦祖

Segment Anything Model（SAM）
mingo_敏
06-25 8824
SAM，即Segment Anything，它借助了NLP任务中的Prompt思路，通过给图像分割任务提供一下Prompt提示来完成任意目标的快速分割。提示可以是前景/背景点集、粗略的框或遮罩、任意形式的文本或者任何指示图像中需要进行分割的信息。该任务的输入是原始的图像和一些提示语，输出是图片中不同目标的掩码信息。
SAM 2:分割图像和视频中的任何内容
AI浩
09-08 1742
我们提出了“Segment Anything Model 2”（SAM 2），这是一种基础模型，旨在解决图像和视频中的可提示视觉分割问题。我们构建了一个数据引擎，该引擎通过用户交互改进模型和数据，以收集迄今为止最大的视频分割数据集。我们的模型采用带有流式内存的简单变换器架构，适用于实时视频处理。使用我们的数据进行训练的SAM 2在广泛的任务中表现出色。在视频分割方面，我们观察到比先前方法更高的准确性，同时所需的交互次数减少了3倍。
SAM（Segment Anything Model）大模型使用--point prompt
weixin_57506268的博客
03-11 2833
本篇博客主要介绍使用hugging face中封装好的函数对SAM进行point prompt的分割任务
万字长文从零解读SAM(Segment Anything Model)大模型！万物皆可分割！(含源码解析)
强化学习曾小健
02-27 2584
首先，mask进入一个1x2x2x4的卷积，stride=2；在非全局注意力的Block中，将attention层输出的特征图1x70x70x768转化为1x64x64x768的特征图，实际上是通过切片操作x = x[:1, :64, :64, :]，从1x70x70x768的特征图中取出左上角的1x64x64x768部分。如下图(a)所示，模型的输入是原始的图像和一些prompt，目标是输出"valid"的分割，所谓valid，就是当prompt的指向是模糊时，模型能够输出至少其中一个mask。
如何实现sam（Segment Anything Model）|fastsam模型
a486259的博客
03-13 3692
通过本博文的查阅与分析，实现fastsam是较为简便的，且fastsam的性能可以随着全景实例分割模型的发展而进一步提升，同时也说明了fastsam中prompt的实现。而在sam中，各种实现较为生涩难懂，主要说明sam的模型结构，基本原理，数据生成范式。sam的亮点在于基于少量的语义分割标签，迭代出了一个1.1B 标签超大型数据集，其不断扩展标注数据量的思想是值得学习的；而在fastsam中则是对SAT重新定义得出SAT，基于对全景实例分割模型的后处理实现了类似sam的性能。
SAM（segment anything）模型本地部署
C1142256120_qq的博客
05-10 4063
segment anything 模型环境配置和本地部署
配置SAM模型环境
weixin_43458976的博客
04-18 912
5 安装支持 CUDA 的 PyTorch 和 TorchVision。3 建立conda环境 Python 3.8 以上版本。4 激活conda环境。
创新项目实训（3）——SAM模型学习 & 部署
2401_83485566的博客
05-29 1663
首先需要检查编译器，并安装安装完成后，可以再安装一些基础依赖，后面处理掩码、保存格式可能用到。安装SAM模型可以选择从GitHub上直接克隆，或者在python环境中直接pip install。
【Meta-AI】Sam-分割一切 测试
这个人很懒什么都没有~
04-24 3089
近日，Meta AI在官网发布了基础模型 Segment Anything Model（SAM）并开源，其本质是用GPT的方式（基于Transform 模型架构）让计算机具备理解了图像里面的一个个“对象”的通用能力。图像分割是计算机视觉中的一项重要任务，有助于识别和确认图像中的不同物体，把它们从背景中分离出来，这在自动驾驶（检测其他汽车、行人和障碍物）、医学成像（提取特定结构或潜在病灶）等应用中特别重要。下载三个权重文件中的一个，我用的第一个，三个模型从大到小，8G以下显存选vit_b。
项目实训（四）——SAM模型的学习与部署
yyyyyyyx_的博客
05-29 894
这里的show_mask就是我们用mask的prompt进行分割，show_points就是我们用points进行分割，show_box就是通过box进行分割，这是SAM的三种prompt的方式。总的来说，Meta AI 的 Segment Anything 模型为我们提供了一种全新的物体识别和分割方式，其强大的泛化能力和广泛的应用前景将极大地推动计算机视觉领域的发展。这里有vit_h、vit_b、vit_l三种权重模型，这里可以根据自己的需要下载相应的权重模型。我们是下载的vit_h权重模型。
大模型-Segment Anything
晓的博客
02-16 728
Segment Anything”项目旨在创建一个新的图像分割任务、模型和数据集，重点是提升模型的通用性和适应性，使其能够以零样本的方式转移到新类型的图像和任务上。核心贡献模型：开发了一种新型的图像分割模型，称为“Segment Anything Model （SAM）”。这个模型经过专门设计，可以在没有额外训练的情况下，应用于各种不同的图像分布和任务。数据集：构建了一个前所未有的大规模分割数据集，名为“SA-1B”，其中包含了超过 10 亿个掩码和 1100 万张经过授权并尊重隐私的图像。
[24.09.28更新NeurIPS‘24]SAM（Segment Anything Model）最新顶会文章汇总
Alan_Dr的博客
08-23 1288
SAM（Segment Anything Model）最新顶会文章汇总 24.09.28更新NeurIPS'24
【项目学习】记录segment-anything、SAM及衍生自动标注工具使用
kk的博客
05-05 9607
记录segment-anything、SAM及衍生标注工具使用
SAM开源项目教程
gitblog_00799的博客
08-24 802
SAM开源项目教程 项目地址:https://gitcode.com/gh_mirrors/sam5/sam 项目介绍 SAM（Segment Anything Model）是Marcello Cornia等人开发的一个先进的人工智能模型，它专注于图像分割领域，允许用户通过简单的交互来精确分割图像中的任何对象。该项目基于PyTorch框架，提供了一个灵活且强大的工具包，旨在简化复杂对象的分割任务，...
[segment-anything]使用onnxruntime部署sam模型，速度提高30倍！
m0_75272311的博客
04-22 1万+
使用onnxruntime部署segment-anything模型
SAM(segment anything model)分割一切 Demo测试及API调用
热门推荐
Alexa_的博客
04-20 2万+
Meta发布一种新的语义分割模型，Segment Anything Model (SAM)。仅仅3天时间该项目在Github就收获了1.8万个star,火爆程度可见一斑。有人甚至称之为CV领域的GPT时刻。SAM都做了什么让大家如此感兴趣？- SAM与传统单纯的语义分割方式不同，加入了Prompt机制，可以将文字、坐标点、坐标框等作为辅助信息优化分割结果，这一方面增加了交互的灵活性，另一方面这也是解决图像分割中尺度问题的一次有益尝试。- 当在识别要分割的对象时遇到不确定性，SAM 能够生成多个有效掩码。
SAM本地部署，并从本地加载模型
weixin_45636772的博客
06-25 1296
但是这个代码还有一个问题，就是下面这两行代码需要访问huggingface，但是在批量处理图片的时候，由于网络不稳定，可能会出现失败的情况。（虽然模型会缓存到本地，只用下载一次，但是访问huggingface的流程还是要走的，就可能会出问题）代码前半部分定义了各种功能函数，后半部分是主体代码，其中save_masks函数是我自己写的，增加一个保存mask的功能，其他函数都来自于官方教程。为保证运行稳定，改为从本地加载模型，方法如下（非常简单，但是目前好像没有人说清楚，于是我决定自己记录一下）
SAM大模型遥感领域测评
futuregislab的博客
05-23 4317
项目地址：SAM被誉为图片领域中的ChatGPT，可以对图片中的所有对象进行分割。以大家熟知的PS抠图功能类比，过去实现抠图大体上有两种打法：1.经过大量训练，分割出特定对象，比如抠人的模型，抠衣服的模型，抠动物的模型等；2.分割时尽可能的通用，分割后再进行微调。实际应用中，这两种方案混合出现，进而实现自动抠图的效果。但SAM依赖庞大的参数量和海量训练数据。
SAM-记录一下自己在linux下部署SAM的过程
gmmmmmmmm的博客
01-31 1547
4.下载model checkpoints：[https://github.com/facebookresearch/segment-anything#model-checkpoints](https://github.com/facebookresearch/segment-anything#model-checkpoints "https://github.com/facebookresearch/segment-anything#model-checkpoints")
图像分割模型WINDOWS实现
最新发布
03-29
### 图像分割模型在Windows平台上的实现方法 要在Windows平台上实现图像分割模型，可以按照以下流程操作： #### 创建环境 首先，在Windows环境中安装Python以及必要的依赖库。推荐使用Anaconda来管理虚拟环境和包[^1]。 ```bash # 安装 Anaconda 或 Miniconda (https://www.anaconda.com/) # 创建一个新的 Python 虚拟环境 conda create -n image_segmentation python=3.8 conda activate image_segmentation ``` 接着，安装深度学习框架（如TensorFlow或PyTorch），以及其他所需的库。 ```bash pip install torch torchvision torchaudio pip install numpy matplotlib opencv-python scikit-image ``` --- #### 数据准备与标注 为了训练图像分割模型，需要准备好带有标签的数据集。如果手动标注耗时较长，可以借助自动化工具完成这一过程。例如，引用中提到的SAM辅助标注工具可以帮助快速生成高质量的分割掩码[^3]。 - **数据收集**：整理待处理的图片文件夹。 - **数据标注**：利用开源软件Labelme或其他工具标记像素级别的类别信息，并保存为JSON格式或者PNG掩码文件。 --- #### 训练模型 基于已有的框架构建自定义网络结构进行迁移学习。这里介绍两种主流方案——Faster R-CNN扩展版Mask R-CNN[^2] 和 SAM(Segment Anything Model): ##### 方法一: 使用 Mask R-CNN Mask R-CNN 是一种经典的实例分割算法，它通过附加分支预测每个感兴趣区域(ROI)内的二值化mask向量实现了语义理解能力提升。 以下是简单的 PyTorch 实现代码片段: ```python import torch from torchvision.models.detection.mask_rcnn import maskrcnn_resnet50_fpn def load_model(num_classes): model = maskrcnn_resnet50_fpn(pretrained=True) in_features = model.roi_heads.box_predictor.cls_score.in_features model.roi_heads.box_predictor = FastRCNNPredictor(in_features, num_classes) hidden_layer = 256 model.roi_heads.mask_predictor = MaskRCNNPredictor( in_channels=model.roi_heads.mask_head.conv5_mask.out_channels, dim_reduced=hidden_layer, num_classes=num_classes) return model model = load_model(num_classes=91) # COCO预设分类数 device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) ``` ##### 方法二: Segment Anything Model (SAM) Segment Anything Model 提供了一种新颖的方式来自动生成精确的对象边界框及其内部细节描述。其优势在于无需大量人工干预即可获得良好效果。 加载官方提供的权重文件并测试单张输入图像是非常直观的过程: ```python from segment_anything import sam_model_registry, SamAutomaticMaskGenerator import cv2 sam_checkpoint = "./sam_vit_h_4b8939.pth" model_type = "vit_h" device = "cuda" if torch.cuda.is_available() else "cpu" sam = sam_model_registry[model_type](checkpoint=sam_checkpoint).to(device=device) mask_generator = SamAutomaticMaskGenerator(sam) image_path = './example.jpg' image = cv2.imread(image_path) masks = mask_generator.generate(image) print(f"Generated {len(masks)} masks.") ``` --- #### 部署 API 接口 当模型训练完成后，可以通过Flask/Django搭建RESTful服务接口以便外部程序调用该功能。 示例 Flask 应用如下所示: ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/segment', methods=['POST']) def predict(): file = request.files['file'] img_bytes = file.read() result = process_image(img_bytes) # 自定义函数执行推理逻辑 return jsonify({'result': result}) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000) ``` --- ### 总结 综上所述，从零开始到成功部署一套完整的图像分割解决方案涉及多个环节的工作流设计。无论是采用传统卷积神经网络还是新兴Transformer架构驱动的大规模预训练模型，都需要开发者具备扎实的技术功底才能顺利完成项目开发周期内各个阶段的任务目标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

狗头狗不狗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值