Segment Anything——论文笔记

最新推荐文章于 2024-07-30 09:45:58 发布
最新推荐文章于 2024-07-30 09:45:58 发布
阅读量1.9k 收藏 6
点赞数 1
分类专栏： LargeModels 文章标签： 论文阅读 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_buddy/article/details/130912762
版权

home page：segment-anything.com
code：segment-anything

1. 概述

介绍：SAM是最近提出的一种通用分割大模型，其表现出了强大的零样本泛化能力，视觉感知模型的通用化又前进了一步。为了达到文章标题字面意义“segment anything”，那么就需要该算法具有强大的物体语义感知能力，在模型的设计阶段就不能对其所使用的类别进行假设，更类似于常见的交互式分割方法。像交互式分割这样的方法，在现有的大模型体系下提示的相关操作被描述为prompt。在SAM算法中就支持点、框、mask和文本四种不同的prompt，它的零样本泛化能力也是基于此。说到要训练分割大模型，一个问题便是如何获取足够且高质量的数据，对此文章也提出了一种数据生产的pipeline，并且将收集到的训练数据也做了开源segment-anything-downloads（1100万图像数据，10亿mask GT）。

先放一张SAM模型的感知结果：
在这里插入图片描述
效果真的是很惊艳，要是再搭配上对应的文本模型ÿ

最低0.47元/天 解锁文章
m_buddy
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
segment-anything
04-18
"Segment Anything"是Facebook AI团队开源的一个先进图像处理工具，主要专注于图像分割任务。这个工具的目的是为了帮助研究人员和开发者更高效地实现对图像中特定对象的精确识别和分离，从而进行深度学习模型的训练...
论文解读：Segment Anything
a486259的博客
06-10 3526
Segment Anything 将研究目光聚焦于基础模型，将应用领域无限推广，意图实现zero-shot或few-shot泛化（参考NL计算）。SAM是一个项目体系，而非某个网络模型。其核心是对数据的利用，对模型输入输出格式的调整。其网络模型均依赖VIT模型，其结构体系为提示分割模型（与普通语义分割模型多了提示这一层）。SAM参考NLP，认为其具备强大的下游泛化能力是因为提示输入，其认为分割任务的提示输入为点、推荐框、mask和文本（对于文本输入的理解使用CLIP编码器），通过给定提示输入来明确分割对象。
【图像分割】Segment Anything（Meta AI）论文解读
qq_45752541的博客
04-09 1万+
Segment Anything（SA）项目：一个图像分割新的任务、模型和数据集。建立了迄今为止最大的分割数据集，在11M许可和尊重隐私的图像上有超过1亿个mask。该模型的设计和训练是灵活的，因此它可以将zero-shot（零样本）转移到新的图像分布和任务。实验评估了它在许多任务上的能力，发现它的zero-shot性能令人印象深刻——通常与之前的完全监督结果竞争，甚至更好。
Segment Anything 论文总结和代码实现
qq_45981086的博客
05-04 1539
Segment Anything 项目是将图像分割提升到基础模型时代的一次尝试。
Segment Anything专题论文和代码汇总
如果想成为中心，那么就到中心去吧。
05-24 2852
分段任意事物模型（SAM）的成功证明了以数据为中心的机器学习的重要性。然而，由于标注遥感（RS）图像的困难和高成本，大量有价值的RS数据仍未被标记，特别是在像素级。在本研究中，我们利用SAM和现有的RS目标检测数据集，开发了一个有效的管道来生成一个大规模的RS分割数据集，称为SAMRS。SAMRS在大小上比现有的高分辨率RS分割数据集多出几个数量级，并提供了对象类别、位置和实例信息，可以用于语义分割、实例分割和对象检测，可以单独或组合。我们还从各个方面对SAMRS进行了全面的分析。
论文笔记《POPE：6-DoF Promptable Pose Estimation of Any Object, in Any Scene, with One Reference》
丶Karl的博客
11-16 483
在任何场景下，对任何对象的6D可提示位姿估计器。
论文笔记；LargeST: A Benchmark Dataset for Large-ScaleTraffic Forecasting
qq_40206371的博客
04-21 1203
Neurips 2023
单目深度估计---Depth Anything论文详解
qq_44799766的博客
03-30 5210
论文题目：Depth Anything: Unleashing the Power of Large-Scale—— 任何深度：释放大规模无标记数据的力量（注意论文名字，因为后续的很多工作都是在未标注数据上做的。作者认为Depth Anything是一种用于稳健单目深度估计的非常实用的解决方案。在不追求新颖的技术模块的情况下，作者目标建立一个简单而强大的基础模型（而且是Zero-shot）。为此，作者通过设计一个数据引擎来收集并自动标注大规模未标记数据（∼62M），从而扩大数据覆盖范围，来能够减少泛化误差。
LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)
热门推荐
结构之法 算法之道
03-13 3万+
2022年8月发布的Stable Diffusion基于Latent Diffusion Models，专门用于文图生成任务。总之，读的论文越多，博客内相关笔记的质量将飞速提升 自己的技术研究能力也能有巨大飞跃。且考虑到为避免上篇文章篇幅太长而影响完读率，故把这100论文的清单抽取出来独立成本文。// 23年2.27日起，本榜单几乎每天更新中。
学习笔记 | Lagent & AgentLego 智能体应用搭建
DrFlown的博客
04-23 630
​ 在本节中，我们将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰。
SpringBoot笔记
PJ_STAR的博客
04-29 1485
javaSE: OOP MySQL: 持久化 html+css+js+jquery+框架：视图，框架不熟练，css不好 javaWeb: 独立开发MVC三层架构的网站 ssm: 框架：简化了我们的开发流程，配置也开始较为复杂 在此之前项目打包都是war包，程序在Tomcat中运行 Spring再简化： springBoot 项目打包 jar,内嵌tomcat；微服务架构 服务越来越多：SpringCloud 一、SpringBoot简介 1.1 回顾什么是Spring Spring是一个开源框架，2003
AIGC论文-SAM-Segment Anything
02-29
受此启发，《AIGC 论文-SAM-Segment Anything》提出了一种全新的图像分割任务、模型及数据集——Segment Anything（SA），旨在构建一个能够实现零样本迁移学习的基础模型，并以此为基础收集迄今为止最大的图像分割...
Segment Routing学习笔记.doc
04-27
Segment Routing 学习笔记 Segment Routing 是一种源路由机制，其基于转发平面分为两种：SR-MPLS、SR v6。SR-MPLS 产生背景基本原理是为了解决 MPLS 的一些问题，如 LDP 和 RSVP-TE。 MPLS 有两种协议：LDP 和 ...
Segment Anything Model自动全局语义分割
11-08
Segment Anything Model自动全局语义分割，包含彩色掩膜导出代码，包含二值化掩膜代码。 Segment Anything Model是一种端到端的深度学习模型，它以全局的方式对图像进行语义分割。这意味着它不仅可以识别和分割预...
AnyLabeling的segment-anything-onnx自动标注模型
06-08
【标题】"AnyLabeling的segment-anything-onnx自动标注模型"主要涉及到的是计算机视觉领域中的图像分割技术，以及模型转换和应用。该模型利用了ONNX（Open Neural Network Exchange）格式，这是一种开放的跨平台的...
论文阅读：Deep_Generic_Dynamic_Object_Detection_Based_on_Dynamic_Grid_Maps
qq_53589322的博客
07-25 975
相机参考图像显示在顶部，基于深度学习的旋转边界框目标检测结果覆盖在中间的动态网格上，经典的DBSCAN目标检测在最后一行。该文章提出了一种基于动态网格图（Dynamic Grid Maps）的深度通用动态物体检测方法，旨在提高复杂环境中动态物体检测的准确性和效率。本文提出的方法旨在解决这些挑战，提供一种更鲁棒和高效的动态物体检测技术，适用于自动驾驶、机器人导航等领域。本文提出的基于动态网格图的深度学习动态物体检测方法，在多种复杂环境下均表现出色，有效提高了动态物体检测的准确性和鲁棒性。
昇思25天学习打卡营第1天|快速入门
07-28 1038
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
带并行卷积的水下图像背景前景分割方法
最新发布
renhongxia1的博客
07-30 1004
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
Segment anything
01-12
Segment Anything是一种端到端的深度学习模型，用于对图像进行全局语义分割。它可以识别和分割图像中的不同物体和区域，并生成相应的掩膜。这个模型可以通过以下步骤来使用： 1. 下载Segment Anything模型和代码： - 下载Segment Anything代码，可以从GitHub上获取，下载地址为：[https://＊＊＊＊＊＊并将其放置在一个方便的目录下，例如"F:\gameai\segment-anything"。 2. 下载模型数据： - 在Segment Anything的目录下，下载模型文件。可以选择默认模型或者vit_h模型。 - 默认模型下载地址为：[https://dl.fbaipublicfiles.com/segment_anything/sam_default_4b8939.pth](https://dl.fbaipublicfiles.com/segment_anything/sam_default_4b8939.pth)。 - vit_h模型下载地址为：[https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth](https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth)。 - 将下载的模型文件放置在Segment Anything的目录下。 3. 运行代码： - 在Segment Anything的目录下，运行代码以进行图像分割。 - 可以根据需要修改代码中的参数和路径。 - 运行代码后，模型将对输入的图像进行全局语义分割，并生成相应的彩色掩膜和二值化掩膜。 这样，你就可以使用Segment Anything模型对图像进行全局语义分割了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值