手把手写深度学习(24)：用SAM通过文本提示分割mask图片

已于 2024-03-29 14:47:13 修改
阅读量1k 收藏 26
点赞数 29
分类专栏： 手把手写深度学习 文章标签： 深度学习 人工智能 transformer 视频生成 扩散模型
于 2024-03-26 15:15:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/135993235
版权
本文介绍了如何使用SAM模型进行图像分割，特别是通过文本提示来定位并打上mask，适用于深度学习和图像处理爱好者。SAM模型具备通用性、零样本迁移、交互性和多模态输入等优点，能在多种场景下高效应用。
摘要由CSDN通过智能技术生成

手把手写深度学习(0)：专栏文章导航

前言：在生成任务中，通过对mask区域进行生成可以有更好的可控性，是AIGCer必备的技能之一。这篇博客手把手带读者基于SAM完成一个通过文本提示词的分割图片，打上mask，方便后续用diffusion models重建。

目录

原理讲解

环境准备

模型下载

环境配置

代码详解

参考

原理讲解

Segment Anything（简称SAM）是由Meta AI公司开发的一种革命性的图像分割模型。这项技术能够根据文本指令或图像识别，实现对任意物体的识别和分割。SAM模型的推出，旨在推动计算机视觉领域的发展，并使得图像

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 29
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
【代码分享】手把手教你：基于深度学习的滚动轴承故障诊断
09-18
在本项目中，我们将深入探讨如何利用Python编程语言和深度学习技术进行滚动轴承的故障诊断。这个主题在工业领域尤其重要，因为及时检测机械设备的故障能够显著提高生产效率，减少停机时间和维修成本。我们将围绕以下...
【小贪】项目实战——Zero-shot根据文字提示分割出图片目标掩码
打瞌睡_的博客
07-01 874
给定RGB视频或图片，目标是分割出图像中的指定目标掩码。我们需要复现两个Zero-shot的开源项目，分别为IDEA研究院的GroundingDINO和Facebook的SAM。首先使用目标检测方法GroundingDINO，输入想检测目标的文字提示，可以获得目标的anchor box。将上一步获得的box信息作为SAM的提示，分割出目标mask。具体效果如下（测试数据来自VolumeDeform数据集）：其中GroundingDINO根据的文字输入计算的box信息为：。项目实测下来单张图片的预测速度Gro
基于文本提示的图像目标检测与分割实践
新缸中之脑
09-03 2636
SAM 使用图像编码器（通常是视觉变换器 (ViT)）来提取图像嵌入，作为掩模预测的基础。该模型还包含一个提示编码器，它对各种类型的输入提示进行编码，例如点坐标、边界框和低分辨率掩模输入。然后将这些编码的提示与图像嵌入一起输入掩码解码器以生成最终的对象掩码。上述架构允许对已编码的图像进行快速、轻松的提示。掩模：可以提供粗略的、低分辨率的二进制掩模作为初始输入来指导模型。点：用户可以输入 [x, y] 坐标及其类型（前景或背景）来帮助定义对象边界。
SAM部分笔记
热门推荐
yuanxinyyyyy的博客
04-10 1万+
本文介绍了图像任意分割Segment Anything（SA）项目：一种用于图像分割的新任务、模型和数据集。本文数据收集循环使用高效模型建立了迄今为止最大的图像分割数据集，在1100万张获得许可且尊重隐私的图像上有超过10亿个掩码。模型本身被设计、训练为可提示的，因此它可以将零样本转换为新的图像分布和任务。通过评估了其在许多任务上的能力，发现其零样本性能令人印象深刻，完全可与之前的完全监督结果相竞争，甚至优于这些结果。深入研究在。
【项目学习】记录segment-anything、SAM及衍生自动标注工具使用
kk的博客
05-05 7833
记录segment-anything、SAM及衍生标注工具使用
【人工智能前沿弄潮】—— SAM系列：SAM从提示生成物体mask
qq_43456016的博客
08-09 1690
Segment Anything Model（SAM）根据指示所需的对象来预测对象掩码。该模型首先将图像转换为图像嵌入，从而可以从提示中高效地生成高质量的掩码。类为模型提供了一个简单的接口来提示模型。用户可以首先使用set_image方法设置图像，该方法会计算所需的图像嵌入。然后，可以通过predict方法提供提示，以从这些提示中高效地预测掩码。模型可以接受点和框提示以及先前迭代预测的掩码作为输入。
SAM大模型遥感领域测评
futuregislab的博客
05-23 3262
项目地址：SAM被誉为图片领域中的ChatGPT，可以对图片中的所有对象进行分割。以大家熟知的PS抠图功能类比，过去实现抠图大体上有两种打法：1.经过大量训练，分割出特定对象，比如抠人的模型，抠衣服的模型，抠动物的模型等；2.分割时尽可能的通用，分割后再进行微调。实际应用中，这两种方案混合出现，进而实现自动抠图的效果。但SAM依赖庞大的参数量和海量训练数据。
深度学习教程：使用Python的入门级理论与实践源码
03-25
项目简介：本深度学习教程旨在为广大初学者提供基于Python的入门级理论与实践操作。...该项目从基础出发，手把手引导您步入深度学习的世界，理论与实践相结合，助您轻松掌握深度学习的基本概念与技能实现。
手把手教程：零基础使用MATLAB完成基于深度学习U-Net模型的遥感影像分类
07-05
所以，本教程手把手教你使用MATLAB中的深度学习框架，完成遥感影像分类的具体操作步骤。本教程给出完整的代码、操作手擦、原始训练及测试样本，旨在最大限度的简化操作步骤，让深度学习零基础的学生也可以轻松跑通...
手把手教你用Python实践深度学习.rar
10-09
手把手教你用Python实践深度学习 第一章： 从人工智能到深度学习 第二章：使用TensorFlow & Keras 建构人工神经网络(Artificial Neural Network) 第三章：卷积神经网络 (Convolutional Neural Network) 第四章：循环...
ClipSAM
whaosoft143ai的博客
01-28 631
然而，如图4所示，相似性分割无法为后续MMR模块提供文本对齐的块 Token 和准确的局部空间提示，这导致了性能崩溃，这表明在ClipSAM框架中，UMCI模块起着重要作用。为了避免进一步的Mask过滤导致的不必要的后处理，作者提出了一种更高效的Mask优化策略，将不同粒度的Mask无缝集成，从而提高异常分割结果。此外，讨论了整个框架的优化函数。具体而言，作者提出了多级Mask细化（MMR）模块，首先从CLIP的异常定位结果中提取多样化的点框提示，然后使用这些提示引导SAM生成精确的Mask。whao
语义分割笔记(三)：通过opencv对mask图片来画分割对象的外接椭圆
源的博客
10-08 1869
根据 mask 图像来画分割对象的外接椭圆是一种常见的图像分割任务。Mask 图像通常是一个二值图像，其中包含了感兴趣对象的像素。通常情况下，白色像素表示对象，黑色像素表示背景。
文献阅读笔记：SAM大模型（Segment Anything）
weixin_45409613的博客
03-17 2758
本周学习了SAM大模型，该大模型用于图像分割的新任务、模型和数据集。该模型的设计和训练具有快速性，因此它可以将零样本转移到新的图像分布和任务。通过评估SAM在众多任务上的能力，该大模型的零样本性能与之前完全监督的结果相媲美甚至优于之前的结果。本文将详细介绍SAM模型。作者在这篇文献中介绍了SAM大模型：该大模型用于图像分割的新任务、模型和数据集。作者构建了迄今为止最大的分割数据集，在 1100 万张许可且尊重隐私的图像上包含超过 10 亿个mask。该模型的设计和训练具有快速性，因此它可以将零样本。
SAM：基于 prompt 的通用图像分割模型
m0_51976564的博客
01-31 4230
SAM：基于 prompt 的通用图像分割模型 Segment anything
深度学习100问27:什么是截断的BPTT
最新发布
yyq916的博客
08-31 68
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
深度学习中的PyTorch Tensor详解
SWZ156的博客
08-27 794
PyTorch 中的 Tensor 是深度学习模型的核心数据结构。通过本文，你应该对张量的创建、属性、基本操作以及如何在深度学习中应用有了更深入的了解。在实践中，你会发现 PyTorch 提供了非常丰富的功能，助力你构建和优化神经网络模型。
【深度学习与NLP】——深度卷积神经网络AlexNet
lingxw的博客
08-27 1011
AlexNet 的出现极大地推动了深度学习在计算机视觉领域的发展。它证明了深度神经网络在图像识别等任务上的强大能力，为后续的研究提供了重要的参考和启示。此后，各种深度神经网络架构不断涌现，性能也不断提升。总之，AlexNet 是深度学习发展历程中的一个重要里程碑，它的创新之处和优异性能对计算机视觉领域产生了深远的影响。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 663
本次课将使用下列数据集：关于电影评价的数据集。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值