SAM分割一切系列相关论文梳理

于 2025-05-15 13:28:10 发布
阅读量795 收藏 12
点赞数 14
分类专栏： 计算机视觉 通用模型 大模型 文章标签： 深度学习 计算机视觉 通用分割 transformer SAM 自动标注
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/unique_zhao/article/details/147952378
版权

文章目录

  • SAM原作参考SAM解读
  • SAM微调参考SAM微调
  • 综合看下来与SAM相关的论文有很多，但对SAM本身进行优化的工作很少，大部分是结合SAM对具体场景的适配或优化，或实现功能的扩展例如增加mask的类别实现实例分割。还有很多将SAM扩展到可以用于3D对象的分割，本文不做关注因此未列出。

SAM相关论文

SAM优化或功能拓展

[Medical Image Analysis2025]UN-SAM: Domain-Adaptive Self-Prompt Segmentation for Universal Nuclei Images - 通过自动生成掩码prompt减轻标注工作，实现细胞通用分割

paper:https://www.sciencedirect.com/science/article/abs/pii/S1361841525001549
code:https://github.com/CUHK-AIM-Group/UN-SAM
SAM在自然场景中展现出卓越的性能，并对医学成像表现出令人瞩目的适应性。尽管有这些优势，但依赖劳动密集型的手动标注作为分割提示严重阻碍了其临床应用，特别是对于包含大量细胞的细胞核图像分析，密集的手动提示并不现实。为了在保留优势的同时克服当前SAM方法的局限性，我们提出了用于通用细胞核分割的域自适应自提示SAM框架（UN - SAM），通过提供一种在不同领域都具有卓越性能的全自动解决方案。具体而言，为了消除对每个细胞核进行提示标注所需的大量人力，我们设计了一个多尺度自提示生成（SPGen）模块，通过自动生成高质量的掩码提示来指导分割任务，从而彻底改变临床工作流程。此外，为了在各种细胞核图像中发挥SAM的能力，我们设计了一个域自适应调谐编码器（DT - Encoder），将视觉特征与领域通用和领域特定知识无缝融合，并进一步设计了一个域查询增强解码器（DQ - Decoder），通过利用可学习的域查询在不同的细胞核领域进行分割解码。大量实验证明，我们的UN - SAM在细胞核实例分割和语义分割方面超越了现有技术，尤其是在未知细胞核领域的泛化能力。

[NIPS2023]Segment Everything Everywhere All at Once - 比SAM交互能力更强

威斯康星+微软

  • 比SAM更丰富的交互方式，例如涂鸦、文本+视觉提示组合等。
    paper:https://arxiv.org/pdf/2304.06718
    code:https://github.com/UX-Decoder/Segment-Everything-Everywhere-All-At-Once
    在这里插入图片描述
    在这项工作中，我们提出了SEEM——一种可提示的交互式模型，能够对图像中任意位置的所有物体进行一次性分割，如图1所示。在SEEM中，我们设计了一种新颖的解码机制，支持对所有类型分割任务的多样化提示，旨在构建一个行为类似大型语言模型（LLM）的通用分割接口。具体而言，SEEM的设计遵循四个核心原则：i）通用性。我们引入新型视觉提示以统一不同空间查询（包括点、框、涂鸦和掩码），并可进一步泛化到不同参考图像；ii）组合性。我们学习文本与视觉提示的联合视觉语义空间，助力各类分割任务所需的两种提示类型的动态组合；iii）交互性。我们在解码器中融入可学习记忆提示，通过解码器到图像特征的掩码引导交叉注意力来保留分割历史；iv）语义感知。我们使用文本编码器将文本查询和掩码标签编码到同一语义空间，实现开放词汇分割。我们通过全面的实证研究验证了SEEM在多种分割任务中的有效性。值得注意的是，单个SEEM模型在9个数据集上的交互式分割、通用分割、指称分割和视频目标分割任务中均取得了具有竞争力的性能，且仅需最少1/100的监督量。此外，SEEM展现出对新提示或其组合的卓越泛化能力，使其成为现成的通用图像分割接口。
PERSONALIZE SEGMENT ANYTHING MODEL WITH ONE SHOT - 1个参考样本实现SAM的指定物体分割

香港中文大学、上海人工智能实验室
paper:https://arxiv.org/pdf/2305.03048
code:https://github.com/ZrrSkywalker/Personalize-SAM

在大数据预训练的推动下，Segment Anything Model（SAM）已被证明是一个强大的可提示框架，彻底革新了图像分割领域。尽管SAM具有通用性，但针对特定视觉概念在无需人工设计提示的情况下对其进行定制化的研究仍较为匮乏——例如从大量图像中自动分割出用户的宠物狗。本文提出了一种无需训练的SAM个性化方法PerSAM。仅需单样本数据（即一张带有参考掩码的图像），我们首先为新图像中的目标概念获取正负位置先验。然后，借助目标视觉语义，通过两项核心技术赋予SAM个性化目标分割能力：目标引导注意力机制与目标语义提示策略。通过这种方式，我们能够在完全无需训练的前提下，高效地将通用型SAM定制为专用模型。为进一步解决分割尺度模糊问题，我们提出了高效单样本微调变体PerSAM-F：在冻结整个SAM模型的基础上，引入尺度感知微调技术聚合多尺度掩码，仅需调整2个参数（耗时10秒）即可提升性能。为验证方法有效性，我们构建了全新数据集PerSeg用于个性化目标分割评估，并在多个单样本图像与视频分割基准上进行测试。此外，我们提出利用PerSAM改进DreamBooth实现个性化文本到图像合成，通过减轻训练集背景干扰，该方法在目标外观生成质量和文本提示保真度上均展现出优势。相关代码已开源至https://github.com/ZrrSkywalker/Personalize-SAM。

[Nature Communications] MedSAM: Segment Anything in Medical Images - 医学领域SAM

code:https://github.com/bowang-lab/MedSAM

医学图像分割是临床实践中的关键组成部分，有助于准确诊断、治疗方案规划和疾病监测。然而，现有的方法通常是针对特定的模态或疾病类型量身定制的，在各种医学图像分割任务中缺乏通用性。在此，我们提出了MedSAM，这是一个基础模型，旨在通过实现通用的医学图像分割来弥合这一差距。该模型是在一个大规模医学图像数据集上开发的，该数据集包含1570263个图像-掩码对，涵盖10种成像模态和30多种癌症类型。我们对86项内部验证任务和60项外部验证任务进行了全面评估，结果表明，与基于模态的专业模型相比，该模型具有更高的准确性和鲁棒性。通过在广泛的任务中提供准确、高效的分割，MedSAM在加速诊断工具的发展和治疗方案的个性化方面具有巨大潜力。

Personalizing Vision-Language Models With Hybrid Prompts for Zero-Shot Anomaly Detection - SAM用于zero-shot异常检测/分割一切异常[💥文本与异常图像的对齐，类似GroundingDINO/GroundedSAM]

华科

零样本异常检测（ZSAD）旨在开发一种基础模型，该模型能够在不依赖参考图像的情况下检测任意类别的异常。然而，由于“异常”本质上是相对于特定类别中的“正常”来定义的，因此在没有描述相应正常上下文的参考图像的情况下检测异常仍然是一项重大挑战。作为参考图像的替代方案，本研究探索使用广泛可用的产品标准来描述正常上下文和潜在的异常状态。具体而言，本研究引入了AnomalyVLM，它利用通用预训练视觉语言模型（VLM）来解读这些标准并检测异常。鉴于当前VLM在理解复杂文本信息方面的局限性，AnomalyVLM从标准中生成混合提示（包括针对异常区域的提示、符号规则和区域编号），以促进更有效的理解。这些混合提示被整合到所选VLM中异常检测过程的各个阶段，包括异常区域生成器和异常区域优化器。通过使用混合提示，VLM被定制为特定类别的异常检测器，为用户提供了在无需训练数据的情况下检测新类别异常的灵活性和控制权。在四个公开的工业异常检测数据集以及实际汽车零部件检测任务上的实验结果突出了AnomalyVLM的卓越性能和更强的泛化能力，尤其是在纹理类别中。

高效SAM

可以参考以下，包含FastSAM、MobileSAM、Efficient-SAM、Edge-SAM、RepViT-SAM

https://github.com/IDEA-Research/Grounded-Segment-Anything/tree/main/EfficientSAM

基于SAM实现的工具

半自动标注

anylabeling

code:https://github.com/vietanhdev/anylabeling
Effortless data labeling with AI support from YOLO and Segment Anything! AnyLabeling = LabelImg + Labelme + Improved UI + Auto-labeling

X-AnyLabeling - 相比anylabeling模型集成更丰富

code:https://github.com/CVHub520/X-AnyLabeling
X-AnyLabeling 是一款基于AI推理引擎和丰富功能特性于一体的强大辅助标注工具，其专注于实际应用，致力于为图像数据工程师提供工业级的一站式解决方案，可自动快速进行各种复杂任务的标定。

OpenMMLab PlayGround: Semi-Automated Annotation with Label-Studio and SAM

https://github.com/open-mmlab/playground/tree/main/label_anything

Segment Anything Labelling Tool (SALT)

code:https://github.com/anuragxel/salt#segment-anything-labelling-tool-salt

图像编辑

Edit Anything by Segment-Anything

code:https://github.com/sail-sg/EditAnything
This is an ongoing project aims to Edit and Generate Anything in an image, powered by Segment Anything, ControlNet, BLIP2, Stable Diffusion, etc.

综述

https://arxiv.org/pdf/2305.08196
可以看出大部分都是结合SAM与其他模型实现的工具，例如

  • 与CLIP结合实现语义感知
  • 与stabel diffusion、controlnet结合实现inpainting或图像编辑
  • 与目标检测模型结合实现实例分割
No.ProjectTitleProject pageCode baseAffiliationDescription
001SAM-TrackSegment and Track AnythingGoogle ColabGitHubZhejiang University用于视频中自动或交互式跟踪和分割任何对象，结合SAM和XMem等技术。
002Grounded-SAMGrounded Segment AnythingGoogle ColabGitHubIDEA Research结合Grounding DINO和SAM，支持文本输入的对象检测与分割。
003MMDet-SAM--GitHubOpenMMLab结合SAM与目标检测（封闭集、开放集、接地检测）的实例分割方案。
004MMRotate-SAMZero-shot Oriented Object Detection with SAM-GitHubOpenMMLab结合SAM和弱监督水平框检测，实现旋转框检测。
005MMOCR-SAM--GitHubOpenMMLab文本检测/识别与SAM结合，支持文本字符分割和扩散模型驱动的文本去除/修复。
006MMEditing-SAM--GitHubOpenMMLab结合SAM和图像生成，支持图像编辑和生成。
007Label-Studio-SAMSemi-Automated Annotation with Label-Studio and SAM-GitHubOpenMMLab结合Label-Studio和SAM实现半自动标注。
008PaddleSeg-SAMSegment Anything with PaddleSeg-GitHubPaddlePaddlePaddlePaddle格式的SAM预训练模型参数。
009SegGPTSegmenting Everything In ContextHugging FaceGitHubBAAI-Vision基于Painter的上下文分割模型，支持“分割一切”。
010SEEMSegment Everything Everywhere All at OnceHugging FaceGitHubMicrosoft支持多模态提示的通用分割模型。
011CLIP SurgeryCLIP Surgery for Better ExplainabilityDemoGitHubHKUST基于CLIP的可解释性改进，实现无手动点的文本到掩码生成。
012SAMCODCan SAM Segment Anything? When SAM Meets Camouflaged Object Detection-GitHub-SAM与伪装对象检测（COD）任务结合。
013Inpaint AnythingSegment Anything Meets Image InpaintingHugging FaceGitHubUSTC and EITSAM与图像修复结合，支持对象平滑去除。
014PerSAMPersonalize Segment Anything with One ShotarXivGitHub-单样本个性化SAM，支持特定视觉概念分割。
015MedSAMSegment Anything in Medical Images-GitHub-医学图像分割的SAM教程，支持小数据集快速应用。
016Segment-Any-AnomalyGroundedSAM Anomaly DetectionGoogle ColabGitHubHUST结合Grounding DINO和SAM的异常分割模型。
017SSASemantic Segment Anything-GitHubFudan University自动密集类别标注引擎，为SA-1B数据集提供初始语义标注。
018Magic Copy--GitHub-Chrome扩展，使用SAM提取图像前景并复制到剪贴板。
019Segment Anything with Clip-Hugging FaceGitHub-SAM与CLIP结合的应用。
020MetaSegSegment Anything VideoHugging FaceGitHub-SAM的视频处理打包版本。
021SAM in NapariSegment Anything Model (SAM) in NapariNapari HubGitHubApplied Computer Vision Lab and German Cancer Research Center将SAM的点击分割扩展到全点击语义/实例分割，集成到Napari。
022SAM Medical Imaging--GitHub-医学影像领域的SAM应用。
0233D-Box3D-Box via Segment Anything-GitHub-结合SAM和VoxelNeXt，扩展至3D感知。
024Anything-3D--GitHub-支持3D新视图生成、NeRF和3D人脸的SAM扩展。
025L2SETLearning to Segment EveryThing-GitHubUC Berkeley, FAIR实例分割的部分监督训练范式。
026Edit AnythingEdit Anything by Segment-Anything-GitHub-基于SAM、ControlNet、StableDiffusion的图像编辑工具。
027Image Edit Anything (IEA)--GitHub-使用Stable Diffusion和SAM进行图像编辑。
028SAM for Stable Diffusion WebuiSegment Anything for Stable Diffusion WebUI-GitHub-连接Stable Diffusion WebUI和ControlNet，增强图像修复功能。
029Earth Observation ToolsSegment Anything EO toolsGoogle ColabGitHub-SAM的地球观测工具，支持GeoTIFF和TMS数据处理。
030Moving Object DetectionTowards Segmenting Anything That Moves-GitHub-SAM与运动对象检测结合的项目。
031OCR-SAMOptical Character Recognition with Segment Anything知乎GitHub-结合MMOCR、SAM和Stable Diffusion的OCR方案。
032SALTSegment Anything Labelling Tool-GitHub-使用SAM的轻量标注工具，支持COCO格式掩码保存。
033Prompt Segment Anything--GitHub-基于SAM的零样本实例分割实现。
034SAM-RBox--GitHub-使用SAM生成旋转边界框，对比H2RBox-v2方法。
035VISAMMOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors-GitHub-结合SAM和MOT，开启“MOTS”时代。
036SegEOSegment Anything EO-GitHub-基于滑动窗口算法的空间数据（GeoTIFF/TMS）处理工具。
037Napari Segment Anything tools-CodecovGitHub-SAM的原生Qt UI工具。
038SegDrawerSimple static web-based mask drawer-GitHub-简单的基于Web的掩码绘制工具，支持SAM语义分割。
039Segment-Anything-U-Specify-Google ColabGitHub-使用CLIP和SAM，通过文本提示分割指定实例。
040Track AnythingSegment Anything Meets VideosHugging FaceGitHubSUSTech灵活的交互式视频对象跟踪与分割工具。
041Count Anything--GitHub-使用SAM和CLIP，基于文本提示计数任意对象，无需手动标注。
042RAMRelate Anything ModelHugging FaceGitHubMMLab, NTU and VisCom Lab, KCL/TongJi输入图像，利用SAM识别对应掩码。
043SegmentAnyRGBD-Hugging FaceGitHubShowlab, NUS基于SAM的RGBD图像分割工具箱。
044Show Anything-Hugging FaceGitHubShowlab, NUS兼容SAM和生成模型的应用集合。
045Any-to-Any Style TransferMaking Picasso and Da Vinci Collaborate-GitHubLV-lab, NUS交互式风格迁移工具，支持不同区域应用不同风格。
046Caption Anything-Google ColabGitHubVIP lab, SUSTech结合SAM、视觉caption和ChatGPT的多功能图像处理工具。
047Image2ParagraphTransform Image Into Unique Paragraph个人主页GitHub-利用OFA、ChatGPT、BLIP2等将图像转换为文本段落。
048LIME-SAMLocal Interpretable Model-agnostic Explanations for Segment AnythingGoogle ColabGitHub-基于LIME的SAM可解释性工具，替换超像素方法。
049Paint Anything--GitHub-基于SAM的交互式笔触绘画工具，支持类人绘画。
050SAMedCustomized Segment Anything Model for Medical Image SegmentationGoogle ColabGitHubUSTC基于SAM的医学图像分割定制模型，探索大规模模型定制范式。
051Personalize SAMPersonalize Segment Anything with 1 Shot in 10 SecondsHugging FaceGitHubMMLab, CUHK无训练个性化方法PerSAM，单样本快速定制SAM。
052Open-vocabulary-Segment-Anything--GitHub-结合OwlViT和SAM，支持开放词汇检测与分割（文本/图像条件）。
053Label-Anything-Pipeline--GitHubZJU结合GPT-4和SAM的视觉任务一站式标注管道。
054Grounded-Segment-Any-PartsGrounded Segment Anything: From Objects to Parts项目主页GitHubHKU扩展SAM支持文本提示（对象级/部件级）的分割。
055AnyLabeling-YouTubeGitHub-基于SAM和YOLO的AI辅助数据标注工具。
056SSASemantic Segment AnythingReplicateGitHub-自动密集类别标注引擎，为SA-1B提供初始语义标签。
057RefSAMLabel Data with Segment Anything in Roboflow博客GitHub-基于SAM的Referring图像分割基准测试。
058Roboflow AnnotateLaunch: Label Data with Segment Anything in Roboflow博客Roboflow平台RoboflowSAM辅助标注工具，用于训练计算机视觉模型。
059ImageBind SAM--GitHubIDEA Research结合ImageBind和SAM，支持多模态掩码生成的实验性演示。

参考，感谢以下研究人员的整理：
https://zhuanlan.zhihu.com/p/630529550
https://blog.csdn.net/m0_61899108/article/details/132024941
https://github.com/liliu-avril/Awesome-Segment-Anything

ICCV 2023开源 | 最新跟踪一切！分割一切视频版来了！
3D视觉工坊
09-13 1026
作者：泡椒味的口香糖 | 来源：3D视觉工坊添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。0. 笔者个人体会视频分割相较于图像分割，最大难点在于长序列中相同类别的数据关联，也就是如何保证这一帧分割出的目标，下一帧还能稳定分割。传统的端到端视频跟踪模型，主要还是遵循一个"检测跟踪"的范式，然后使用短时模块来关联帧间分割。这种方法的缺点是对误检很敏感，而且很难处理长序列，...
CVPR2023 | 一种不需要点聚类的新颖点云实例分割算法
3D视觉工坊
11-13 769
作者：PCIPG-HAY | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群现有的 3D 实例分割方法以自下而上的设计为主——手动微调算法将点分组为簇，然后是细化网络。然而，由于依赖于聚类的质量，当（1）具有相同语义类的附近对象被打包在一起，或（2）具有松散连接区域的大型对象时，这些...
【读点论文】分割一切模型SAM的潜力与展望。中文综述，写作蛮细致的
白水空空
07-30 1294
Kirillov等人构建的数据集 SA-1B 由1 100万幅不同的高分辨率图像和11亿幅高质量的分割掩码图像组成。其中,99.1%的掩码是自动生成的,这些新图像的分辨率明显高于许多现有的图像分割数据集。在对比实验中,与以往专业人工标注的掩码相比,自动生成的掩码质量更高,对训练模型也更加有效。
SAM微调fine-tune/PEFT系列论文整理
unique_zhao的博客
05-15 698
分割一切模型（SAM）彻底改变了计算机视觉领域。依靠对SAM的微调将解决大量基础计算机视觉任务。我们正在设计一个基于SAM的用于训练微调模型的类别感知单阶段工具。你需要提供任务所需的数据集以及支持的任务名称，此工具将帮助你获得针对任务的微调模型。你也可以设计自己的扩展SAM模型，FA将为你提供训练、测试和部署流程。
【论文阅读】Segment Anything论文梳理
magic_ll的博客
03-05 2476
Abstract 我们介绍了Segment Anything（SA）项目：新的图像分割任务、模型和数据集。高效的数据循环采集，使我们建立了迄今为止最大的分割数据集，在1100万张图像中，共超过10亿个掩码。 该模型被设计和训练为可提示的的 (promptable)，因此它可以将零样本(zero-shot) 迁移到新的图像分布和任务。我们评估了其在许多任务上的能力，发现其零样本迁移性能十分优秀，与之前的完全监督方法的结果相比，具有竞争力甚至优于这些结果。链接： https://segment-anythin
OCR-free相关论文梳理
有问题请直接说问题就好
03-13 1614
Donut的结构有些像Text Spotting任务（检测和识别都在一个模型中完成），但是Donut做的要比Text Spotting任务更进一步。该工作将OCR中多个子任务都集成到了一个End-to-End的网络中，网络是基于transformer的编解码结构。这应该是第一篇将Transformer 编解码结构应用到整个OCR任务中的工作，包括文档分类、文档信息提取和文档问答三个任务。现阶段，Transformer技术的发展，让通用文档理解任务变得不再是那么遥不可及，出现了很多OCR-free的工作。
速学！分割一切的SAM，最新10种改进思路！
m0_73122726的博客
05-07 250
从2025年的最新研究成果来看，引入了修改版的SAM（mSAM），移除了原始SAM中的提示编码器，使用任务特定的无掩码嵌入和掩码解码器，以适应不同输出通道数的任务。通过低秩张量分解技术，TA-LoRA能够同时利用任务共享和任务特定的信息，显著提升多任务学习的性能，同时保持参数效率。mSAM结合TA-LoRA展示了在多任务学习中的巨大潜力，为计算机视觉中的多任务学习问题提供了一种新的解决方案。mSAM设计：移除SAM中的提示编码器，引入任务特定的无掩码嵌入和掩码解码器，以适应不同输出通道数的任务。
ECCV 2024 | 汇总！7项基于SAM万物分割模型的研究工作！
idol24的博客
10-12 2232
1、CC-SAM: SAM with Cross-feature Attention and Context for Ultrasound Image Segmentation#ECCV2024 #SAM #图像分割 #医学图像Segment Anything Model (SAM) 在自然图像分割领域取得显著成功，但在医学成像领域的部署遇到了挑战。具体来说，该模型在处理具有低对比度、模糊边界...
NeurIPS 2024 | 工业质检缺陷检测相关论文梳理
unique_zhao的博客
05-08 695
上下文分割要求模型在给定少量支持样本（如 1 个或多个带有标注的支持图像）的情况下，能够直接对查询图像进行语义分割，无需额外的训练或微调。其核心是模型具备 “上下文学习能力”，即通过输入的示例（上下文）快速理解目标类别，并将其泛化到新图像中。上下文分割是少样本语义分割的进化形态。传统少样本分割（如 1-shot、5-shot 分割）关注在少量标注样本下训练模型，而上下文分割进一步要求模型在推理阶段仅通过输入的上下文示例（即支持样本）完成分割，无需额外训练步骤。
最强发文神器：SAM+医学图像分割！秒锁Nature！
2401_88190197的博客
11-28 612
迎来了全新改进，不再局限于分割图像，还能分割视频，准确度更是再攀高峰！事实上，该方向一直是研究的热门，也是好出创新点的方向。由于自然图像和医学图像之间存在很大的差异，一直以来传统CV模型，在医学图像分割领域的效果都不尽人意！而SAM的出色的泛化能力，则为打破这一鸿沟提供了更多可能！且当下，该方法还处于上升期，还不算卷，可发挥空间很大！为了方便伙伴们快速发出自己的顶会，我给大家准备了，让你再也不用发愁找不到数据。论文原文+开源代码需要的同学看文末。
只要MLP就能实现的三维实例分割！
3D视觉工坊
09-26 267
作者：PCIPG-mach | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf和代码。添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。摘要为三维点云实例分割提出了一个概念简单、通用性强的新框架。我们的方法被称为 3D-BoNet ，遵循每点多层感知器 (MLP) 的简单设计理念。该框架直接回归点云中所有实例的三维边界框(boundin...
NeurlPS‘23开源 | 首个！开放词汇3D实例分割！
3D视觉工坊
11-14 248
作者：泡椒味的口香糖| 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群0. 笔者个人体会实例分割是CV领域很经典的任务，应用也非常广泛。但一个比较头疼的点是需要预定义类别，训练和测试都只能针对固定的类别。最近，笔者阅读了一篇NeurlPS 2023开源的方案OpenMask3D，可...
大模型GUI系列论文阅读 DAY1：《基于大型语言模型的图形用户界面智能体：综述》（6.6W 字长文）
feifeikon的博客
01-19 1753
大型语言模型（LargeLanguageModels,LLMs）的兴起[8][9]，特别是那些增强了多模态能力的模型[10]，为GUI自动化带来了颠覆性变化，重新定义了智能体与图形用户界面交互的方式。我们将回顾GUI智能体的发展历史，提供构建这些智能体的分步指南，汇总基本和高级技术，评审与框架、数据和模型相关的重要工具和研究，展示典型应用，并概述未来发展方向。通过这些问题，本综述旨在提供对该领域现状的全面概览，为构建LLM驱动的GUI智能体提供指导，识别关键研究空白，并提出未来工作的方向。
深度学习入门：深度学习（完结）
最新发布
2301_79704601的博客
05-15 781
正如大家能想到的，这样的方法需要按照像素数量进行相应次forward处理，因而需要耗费大量的时间（正确地说，卷积运算中会发生重复计算很多区域的无意义的计算）。R-CNN中会将图像变形为正方形，或者在分类时使用SVM（支持向量机），实际的处理流会稍微复杂一些，不过从宏观上看，也是由刚才的两个处理（候选区域的提取和CNN特征的计算）构成的。这个递归指的是神经网络的递归的网络结构。在R-CNN的前半部分的处理——候选区域的提取（发现形似目标物体的处理）中，可以使用计算机视觉领域积累的各种各样的方法。
Pycharm（十九）深度学习
higerwy的博客
05-06 1491
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
基于EMD-PCA-LSTM的光伏功率预测模型研究
专注AI大模型,软件混淆,授权
05-14 84
本文提出了一种结合经验模态分解(EMD)、主成分分析(PCA)和长短期记忆网络(LSTM)的混合模型，用于提高光伏功率预测的准确性。该模型首先利用EMD将非平稳的光伏功率序列分解为多个本征模态函数(IMF)，然后通过PCA对多维气象特征进行降维处理，最后将处理后的特征输入LSTM网络进行预测。实验结果表明，与单一LSTM模型和传统预测方法相比，EMD-PCA-LSTM模型在预测精度和稳定性方面均有显著提升。该模型有效处理了光伏功率序列的非平稳性和非线性，同时通过特征降维提高了模型效率，为光伏功率预测提供了一
使用深度学习预训练模型检测物体
xinyu的记录博客
05-14 761
使用 GeoAI 工具和预训练模型自动检测棕榈树。
人工智能-深度学习之循环神经网络
m0_51678367的博客
05-14 737
LSTM文本生成实战summary1、通过搭建LSTM模型，实现了基于文本序列的字符生成功能；2、学习了文本加载、字典生成方法；3、掌握了文本的数据预处理方法，并熟悉了转化数据的结构；4、实现了对新文本数据的字符预测。
PyTorch实战（4）——卷积神经网络(Convolutional Neural Network, CNN)详解
盼小辉丶的博客
05-12 1283
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
sam2分割一切大模型
02-27
<think>好的，用户让我介绍一下SAM（Segment Anything Model）分割一切的大模型。首先，我需要确认用户对SAM的了解程度。可能他们听说过这个模型，但想深入了解它的原理、应用或优势。SAM是由Meta AI开发的，基于深度学习的图像分割模型，能够零样本分割图像中的任何对象。 接下来，我应该整理SAM的关键点。首先是模型的结构，比如图像编码器、提示编码器和掩码解码器。然后是它的训练数据，SA-1B数据集，包含超过10亿掩码，这对模型的泛化能力至关重要。接着是核心功能，如支持点、框、文本等提示方式，以及自动生成全图分割掩码的能力。 用户可能关心SAM的应用场景，比如计算机视觉任务中的图像编辑、自动驾驶、医学图像分析等。此外，可能需要解释零样本分割的概念，说明它如何在没有特定任务训练的情况下适应新任务。 还要考虑用户可能的疑问，比如SAM的局限性，例如处理复杂遮挡或小物体时的挑战。同时，与之前的分割模型相比，SAM的优势在哪里，比如灵活性和泛化能力。 需要确保使用中文，结构清晰，分点说明。避免使用过于专业的术语，或者必要时进行解释。比如，解释“掩码”是指分割出的对象区域。同时，检查LaTeX格式是否正确，但根据用户的问题，可能不需要数学公式，但如果有必要，确保用$...$或$$...$$包裹。 最后，总结SAM的意义，比如推动通用AI在视觉领域的发展，为后续研究提供基础。可能用户是研究者或开发者，想了解如何应用SAM到自己的项目中，可以提到开源代码和预训练模型的可用性。 现在组织这些信息，确保符合之前的系统指令，使用自然口语化的中文，分步骤解释，结构清晰，每部分有标题，帮助用户逐步理解SAM模型。</think>SAM（Segment Anything Model，分割一切模型）是由Meta AI（原Facebook AI）于2023年提出的通用图像分割大模型，其核心目标是实现"零样本"（zero-shot）的任意对象分割能力。以下是关于SAM的核心要点： --- ### **1. 核心特点** - **全场景分割** 无需特定训练即可分割图像中任意对象，支持点、框、文本等多种交互提示方式 - **零样本学习** 即使面对未见过的物体类别或复杂场景，也能生成准确的分割掩码 - **多模态输入** 支持多种输入形式：点击（正/负点）、边界框、粗略掩码、文本描述等 --- ### **2. 技术架构** 模型采用三阶段结构： 1. **图像编码器** - 使用MAE预训练的ViT-H/16视觉Transformer - 将图像转换为高维特征向量（1024×64×64） 2. **提示编码器** - 处理点/框/文本等提示信息 - 对位置信息进行位置编码 3. **掩码解码器** - 结合图像特征和提示信息 - 通过交叉注意力机制生成最终掩码 --- ### **3. 关键创新** - **SA-1B数据集** 包含1100万张图像和**11亿个高质量分割掩码**，覆盖广泛场景和对象 - **提示式分割** 通过交互式提示实现动态分割，模拟人类标注过程 - **歧义处理** 对模糊提示（如物体重叠区域）可输出多个合理分割结果 --- ### **4. 性能表现** | 指标 | 表现 | |-------------------|------------------------------| | 单掩码生成速度 | ≈50ms/张（GPU） | | COCO零样本mIoU | 77.8（超过监督学习模型） | | LVIS零样本mIoU | 58.1 | --- ### **5. 应用场景** - **图像编辑**：精确对象抠图 - **自动驾驶**：实时道路场景解析 - **医学影像**：病灶区域自动标注 - **遥感分析**：地理要素快速提取 - **视频处理**：跨帧对象追踪 --- ### **6. 局限性** - 对超精细边缘（如头发）分割仍有提升空间 - 处理高度遮挡物体时可能出现漏分割 - 文本提示的语义理解能力待加强 --- ### **7. 开源生态** - 代码库：GitHub公开（Apache 2.0协议） - 预训练模型：提供ViT-H/ViT-L/ViT-B三种规模 - 交互式Demo：可通过网页端体验实时分割 SAM的推出标志着通用计算机视觉模型的重要突破，其论文《Segment Anything》已被CVPR 2023收录。该模型为后续的通用视觉系统（如目标检测、图像生成等任务）提供了强大的基础能力支撑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

↣life♚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值