EfficientSAM 代码推理

已于 2024-03-19 09:03:08 修改
阅读量701 收藏 11
点赞数 8
文章标签： 人工智能 分割
于 2024-01-12 18:22:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TYUT_xiaoming/article/details/135559411
版权

SA网站主页：Segment Anything | Meta AI

论文主页：EfficientSAM

代码地址：https://github.com/yformer/EfficientSAM

官方给的推理代码是CPU版本的，如果想使用GPU推理需要自己修改一下

经过推理测试3090GPU，官方测试图片1072*603 使用框或者点prompts 使用vitt模型需要41-58ms左右，显存7G左右

使用全图分割耗时会更长

TYUT_xiaoming
关注
  • 8
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流
04-17
流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api流式推理代码api
定性推理方法
07-22
资源名称：定性推理方法内容简介：      定性推理是人工智能学科的一种推理方法，是通过对（物理）系统的结构、行为、功能及它们之间的因果性关系进行研究，以探索人类识（定性）推理机制为目的，从而有效地完成各项求解任务的一种中专领域的推理方法体系。本书详细而系统地介绍了定性推理的发展历史及当前的主要研究方向，讨论了定性推理的基本方法，阐述了有关定性代数、定性仿真方法，定性因果推理和定性空间推理等，最后 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
EfficientSAM论文解读
qq_47432746的博客
03-03 1201
尽管SAM已经取得非常优越的分割性能，但是Vit-H image encoder has 632M 参数；decoder 仅仅有 3.87M,编码器的参数太大了，EfficientSAM模型的提出，最重要的事情是轻量化模型，主要是轻量化编码器。使用良好预训练的轻量级ViT图像编码器（例如，ViT-Tiny/-Small），以降低SAM的复杂性，同时保持良好的性能。如下图，EfficientSAM模型只有5M大小。
c++侦探推理AC代码
11-10
noip侦探推理真题解答（含部分解析），反正不停循环也能过，就是费时间，说实话这种noi的题不都是费时间么，废话不多说看代码
repvgg训练和推理代码
06-27
repvgg训练和推理代码
pth和onnx推理结果对比代码
02-16
里面主要涉及到如何判断pth转onnx之后是否无损失转换了，利用代码进行测试两模型对同一张图片的推理结果是否一致。
SAM轻量级改进EfficientSAM论文解读EfficientSAM: Leveraged Masked Image Pretraining for Efficient SegmentAnyth
sunshineine的博客
02-15 1445
SAM巨大的计算成本限制了其在实际应用中的广泛应用，为了解决这个限制，提出了轻量级的EfficientSAM，它具有良好的性能，同时大大降低了复杂性。EfficientSAM的想法是基于利用掩码图像预训练SAMI，SAMI通过重建SAM图像编码器的潜在特征来改进掩膜图像的预训练，将视觉基础模型中的知识转移到ViT中，以实现有效的视觉表征学习。此外，采用SAMI预训练的轻量级图像编码器和掩码解码器来构建高效SAMs，并对SA-1B上的模型进行微调以进行分割任何任务。
EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything 浅浅析
weixin_46214675的博客
12-07 1339
要让小的Encoder去学，走下面先对图片做mask然后过小的encoder，对未被mask的部分做编码，然后把mask的和没被mask的一起送到decoder做还原，这里还加了一个线性投影用来和SAM Encoder做对其，然后用重建loss，就训起来了。说一下个人感受吧，首先就是标题党，真是震惊！其次，最直观的我的第一影响，这蒸馏完点都下去了，放出来的图还会比原版SAM的效果好，着实令人震惊，效果好点还掉了？最后，还是很有意义的工作，怎么能在尽可能保留原版大的模型性能的同时兼顾效果，是一个永恒的命题。
Segment Anything：SAM系列模型（SAM、EfficientSAM、MobileSAM、MobileSAM-v2、FastSAM）
越努力，越幸运
01-19 1352
这种设计受到《基于Trasformers的端到端目标检测》和Maskformer的启发，使用了一个修改的Transformer解码器block，后跟一个动态掩码预测头。修改后的解码器block在两个方向（提示到图像嵌入和图像嵌入到提示）上使用自注意力和交叉注意力来更新所有嵌入。在运行两个Block后，对图像嵌入进行上采样，并通过MLP层将输出标记映射到一个动态线性分类器（该分类器用于计算每个图像位置的掩码前景概率）。密集提示（即掩码）使用卷积进行嵌入，并与图像嵌入进行逐元素求和。
EfficientSAM：小模型也能万物分割！Meta改进SAM，参数仅为原版5%
idol24的博客
12-13 1616
本文来源 机器之心 编辑：陈萍、蛋酱对于 2023 年的计算机视觉领域来说，「分割一切」（Segment Anything Model）是备受关注的一项研究进展。Meta四月份发布的「分割一切模型（SAM）」效果，它能很好地自动分割图像中的所有内容Segment Anything 的关键特征是基于提示的视觉 Transformer（ViT）模型，该模型是在一个包含来自 1100 万张图像的超过...
Yolov5 最简推理代码
04-07
Yolov5 最简推理代码，精简版models文件夹，使用方式见https://blog.csdn.net/suiyingy/article/details/123920843。只需要推理部分代码，删除冗余部分。
CVPR 2024 满分论文！Meta提出EfficientSAM：快速分割一切！
CV_Autobot的博客
03-01 238
编辑| 机器之心点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心『图像分割』技术交流群本文只做学术分享，如有侵权，联系删文EfficientSAM 这篇工作以5/5/5满分收录于CVPR 2024！作者在某社交媒体上分享了该结果，如下图所示：LeCun 图灵奖得主也强烈推荐了该工作！在最近的一项研究中，Meta 研究者提出了另外一种改进思路 —— 利用 S...
CVHub|AI标注神器 X-AnyLabeling-v2.3.0 发布！支持YOLOv8旋转目标检测、EdgeSAM、RTMO等热门模型！
csdn_xmj的博客
01-23 1527
X-AnyLalbeing 中提供了丰富的快捷键，极大提升标注效率。本文详细为大家介绍了 X-AnyLabeling 的设计初衷及完整的功能特性介绍。作为一款支持高度定制化的开源工具，其实大家完全可以基于该项目进行二次开发；例如我们可以联合目标追踪、检测及OCR识别等做视频人物和字幕的解析；可以编写TensortRT后端完成更高效的推理。
【Segment Anything Model】十三：Meta的最新工作EfficientSAM，微调到自己的数据集，代码。
最新发布
cvxiayixiao的博客
04-08 1224
sam本身架构庞大，训练和推理都很慢。具体来说： SAMI预训练（上半部分）在ImageNet上进行，而SAM微调（下半部分）则在SA-1B数据集上进行。上半部分是为了得到轻量级编码器，因为sam本身的笨重的编码器是架构复杂推理慢的根本原因。图像掩码预训练和损失重建。轻量级编码器学习重构来自于SAM VIT-H的图像编码器的特征嵌入，这样做可以使得很小的编码器也能输出和SAM VIT-H一样的编码特征。这个过程算是只是蒸馏，小模型学习目标是大模型的软输出，一个较大的“教师”模型向一个较小的“学生”模型传递知
EfficientSAM：轻量级的视觉基础分割模型【清晰明了！】
xiaoh_7的博客
03-20 838
EfficientSAM 是一种轻量级视觉分割基础模型，在保证精度的同时，大幅降低了模型复杂度和内存成本。它采用了遮蔽图像预训练 (SAMI) 和优化轻量级 ViT 图像编码器等创新方法，在图像分类、对象检测、实例分割等多种任务上都取得了优异的成绩。
安装EfficientSAM过程记录
奋斗之路
12-12 453
安装好ESAM虚拟环境，再利用pip install -r requirement补齐所缺东西。2. 最好用Hugging face中app.py进行测试，github中的例程。之后点击“Segment with Point Prompt”生成单张的图像。pytorch安装最新版，根据官网安装说明安装torch 2.1稳定版。的程序有些BUG需要自己调试，需要修改两处错误。最后，成功实现了图像分割！左键选择好待分割图像。
EfficientSAM | 借助MIM机制，MetaAI让SAM更高效！
聚焦底层视觉处理，对相关基础AI技术持续学习
02-27 396
本文介绍了一种名为EfficientSAM的模型，该模型通过利用遮罩图像预训练来提高图像分割的性能。作者使用了一个名为SAMI的方法，通过将SAM图像编码器的特征作为重建目标，从SAM图像编码器中重建特征，从而实现遮罩图像预训练。作者还使用SAMI预训练的轻量级图像编码器构建了EfficientSAM模型，并在SA-1B数据集上进行了验证。实验结果表明，EfficientSAM模型在图像分类、目标检测、实例分割和语义分割等任务中均取得了比其他预训练方法更好的性能。
【SAM系列】EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything
weixin_41845840的博客
12-27 546
论文代码：https://github.com/yformer/EfficientSAM。论文链接：https://web3.arxiv.org/abs/2312.00863。目的：降低SAM的计算开销。
onnx推理代码
05-27
下面是一个使用ONNX Runtime进行ONNX推理的示例代码： ```python import onnxruntime as ort import numpy as np # 加载ONNX模型 model = ort.InferenceSession('model.onnx') # 准备输入数据 input_data = np.random.randn(1, 3, 224, 224).astype(np.float32) # 进行推理 output = model.run(None, {'input': input_data}) # 输出预测结果 print(output) ``` 在上面的代码中，我们首先使用 `onnxruntime.InferenceSession` 加载已经导出为 ONNX 格式的模型。然后我们准备输入数据，这里我们随机生成了一个大小为 `(1, 3, 224, 224)` 的浮点数输入数据。最后我们调用模型的 `run` 方法进行推理，并输出预测结果。需要注意的是，输入数据的格式和维度应该与模型的输入相匹配，否则会导致推理出错。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值