SAM(Segment Anything)大模型论文汇总

A Comprehensive Survey on Segment Anything Model for Vision and Beyond

论文:https://arxiv.org/abs/2305.08196

25页综述,198篇参考文献!52个开源项目!本文第一个全面回顾了分割一切模型(SAM)的研究和应用进展,介绍了基础背景,总结了SAM在各种图像处理应用中的优势和局限性。

 

 相关SAM项目索引

 

How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Image Domains

论文:https://arxiv.org/pdf/2306.13731.pdf

代码:https://github.com/xhu248/AutoSAM

解读:医疗SAM也来啦 | AutoSAM告诉你如何在医疗领域更快更好开发大模型 - 知乎 (zhihu.com)

 

AutoSAM: Adapting SAM to Medical Images by Overloading the Prompt Encoder

论文:https://arxiv.org/abs/2306.06370

Faster Segment Anything: Towards Lightweight SAM for Mobile Applications

论文:https://arxiv.org/abs/2306.14289

代码:https://github.com/ChaoningZhang/MobileSAM

解读:【论文解读】比sam小60倍的轻量级模型mobilesam(Faster Segment Anything) - 知乎 (zhihu.com)

MobileSAM来啦 | 比SAM小60倍,比FastSAM快4倍,速度和效果双赢 - 知乎 (zhihu.com)

Segment Anything in High Quality

论文:https://arxiv.org/abs/2306.01567

代码:https://github.com/SysCV/SAM-HQ

解读:苏黎世理工 & 港科大震撼力作 HQ-SAM:SAM新秀-高质量分割一切模型 - 知乎 (zhihu.com)

TinyViT: Fast Pretraining Distillation for Small Vision Transformers

论文:https://arxiv.org/abs/2207.10666

代码:https://github.com/wkcn/tinyvit

解读:【论文解读】TinyVit:快速蒸馏vit,可替换sam的vit(mobilesam) - 知乎 (zhihu.com)

ECCV 22|大数据的红利我吃定了!微软开源TinyViT :搞定小模型的预训练能力 - 知乎 (zhihu.com)

Fast Segment Anything

论文:https://arxiv.org/abs/2306.12156

代码:https://github.com/CASIA-IVA-Lab/FastSAM

解读:中科院自动化所发布Fast SAM | 精度相当,速度提升50倍!!! - 知乎 (zhihu.com)

SAM-IQA: Can Segment Anything Boost Image Quality Assessment?

论文:https://arxiv.org/abs/2307.04455

代码:https://github.com/Hedlen/SAM-IQA

解读:旷视提出SAM-IQA:分割一切模型可以提高图像质量评估吗? - 知乎 (zhihu.com)

RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model

论文:https://arxiv.org/abs/2306.16269

代码:https://github.com/KyanChen/RSPrompter

解读:RSPrompter:遥感图像实例分割利器,基于SAM实现自动分割 - 知乎

RSPrompter - 知乎 (zhihu.com)

SAMMed: A medical image annotation framework based on large vision model

论文:https://arxiv.org/abs/2307.05617

解读:SAM-Med | 英伟达基于SAM提出医学图像标注效率神器 - 知乎 (zhihu.com)

SAMAug: Point Prompt Augmentation for Segment Anything Model

论文:https://arxiv.org/abs/2307.01187

解读:SAM增强技术 | SAMAug提出Point Prompt增强,让SAM模型天天向上 - 知乎 (zhihu.com)

Semantic-SAM: Segment and Recognize Anything at Any Granularity

论文:https://arxiv.org/abs/2307.04767

代码:https://github.com/UX-Decoder/Semantic-SAM

解读:港科&微软 | Semantic-SAM:多粒度的语义通用分割模型 - 知乎 (zhihu.com)

Semantic SAM: 多粒度、多语义的统一分割模型 - 知乎 (zhihu.com)

大模型学习笔记

大模型学习笔记 - 知乎 (zhihu.com)

LLM 系列超详细解读 (一):GPT:无标注数据的预训练生成式语言模型 - 知乎

LLM 系列超详细解读 (二):GPT-2:GPT 在零样本多任务学习的探索 - 知乎

LLM 系列超详细解读 (三):GPT-3:大型语言模型是少样本学习器 - 知乎

多模态超详细解读 (四):VLMo:混合多模态专家的视觉语言预训练 - 知乎

多模态超详细解读 (六):BLIP:统一理解和生成的自举多模态模型 - 知乎

Segment Anything(sam)项目整理汇总[2023.7.21] - 知乎 (zhihu.com)

SAM开源库

[0] dk-liang/Awesome-Segment-Anything

[1] liliu-avril/Awesome-Segment-Anything

[2] VainF/Awesome-Anything

[3] Hedlen/awesome-segment-anything

[4] Vision-Intelligence-and-Robots-Group/Awesome-Segment-Anything

[5] JerryX1110/awesome-segment-anything-extensions

<think>好的,用户现在在寻找关于SAMSegment Anything Model)全图分割的代码实现资料。我需要先确认SAM的具体信息,可能是指Meta的Segment Anything Model,这是一个用于图像分割的先进模型。用户提到“sam code for full image segmentation”,需要全图分割的代码,可能是指对整个图像进行分割而不是交互式分割。 首先,我应该检查用户提供的引用内容,看看是否有相关资源。用户给出的引用[1]是关于未配对图像到图像翻译的论文和代码,引用[2]是CVPR底层视觉任务的汇总,包括超分辨率、去噪等,可能与图像分割相关,但不确定是否有SAM的具体内容。因此,可能需要依赖外部知识。 接下来,我应该回忆SAM的基本情况。SAM由Meta发布,提供通用图像分割能力,支持点、框等提示生成分割掩码。其代码和模型权重已经开源,用户可能想了解如何利用官方代码库实现全图分割。 用户可能需要步骤指导,比如安装、加载模型、处理图像、生成掩码等。同时,可能需要解释全图分割的实现方法,比如使用网格点作为提示,或者自动生成提示点进行分割。 另外,用户可能对相关资源感兴趣,比如官方GitHub仓库、论文、Demo等。需要确保提供的链接正确有效。 还要考虑用户可能遇到的问题,比如性能优化、处理大图像的方法,或者如何后处理掩码结果。可能需要提到这些方面,或者生成相关问题供用户参考。 最后,确保回答符合格式要求:使用中文,行内公式用$...$,独立公式用$$...$$,结构清晰,引用标识正确。根据用户提供的引用,引用[^1]和[^2]可能与图像处理相关,但SAM的资料可能需要引用其他来源,比如官方仓库或相关论文,但用户没有提供,所以可能无法添加引用标识。需要检查是否符合用户提供的引用内容,如果不在其中,可能需要忽略引用标识,但根据用户示例,可能允许不添加或适当调整。 总结回答结构: 1. 介绍SAM及其官方资源。 2. 提供代码实现步骤,包括安装、加载模型、处理图像、生成掩码。 3. 可能的应用场景和优化方法。 4. 相关资源和链接。 5. 生成的问题列表。 确保代码示例正确,使用Python,并符合格式要求。需要确认代码是否来自官方示例,正确性如何。同时,提醒用户可能需要调整参数或后处理。 现在需要组织语言,确保清晰易懂,步骤明确,帮助用户快速实现全图分割。</think>### 关于SAMSegment Anything Model)的全图分割代码实现 #### 1. SAM简介 SAMSegment Anything Model)是Meta提出的通用图像分割模型,能够通过点、框或文本提示生成高质量的分割掩码。全图分割的目标是自动分割图像中的所有对象,通常通过密集采样提示点或结合其他策略实现。 #### 2. 代码实现步骤 **步骤1:安装SAM库** 官方代码库地址:[GitHub - facebookresearch/segment-anything](https://github.com/facebookresearch/segment-anything) ```bash pip install git+https://github.com/facebookresearch/segment-anything.git pip install opencv-python matplotlib ``` **步骤2:加载预训练模型** 下载模型权重(如`sam_vit_h_4b8939.pth`)并加载: ```python from segment_anything import sam_model_registry, SamAutomaticMaskGenerator import cv2 sam_checkpoint = "sam_vit_h_4b8939.pth" model_type = "vit_h" device = "cuda" # 或 "cpu" sam = sam_model_registry[model_type](checkpoint=sam_checkpoint) sam.to(device) mask_generator = SamAutomaticMaskGenerator(sam) ``` **步骤3:处理图像并生成掩码** ```python image = cv2.imread("image.jpg") image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) masks = mask_generator.generate(image_rgb) ``` **步骤4:可视化结果** ```python import matplotlib.pyplot as plt plt.imshow(image_rgb) for mask in masks: plt.gca().add_patch(plt.Polygon(mask['segmentation'], fill=None, edgecolor='red', linewidth=1)) plt.show() ``` #### 3. 关键参数优化 - `points_per_side`:控制采样点密度(默认32,增大可提高覆盖范围)。 - `pred_iou_thresh`:过滤低质量掩码(默认0.88)。 - `stability_score_thresh`:稳定性阈值(默认0.95)。 #### 4. 应用场景 - **医学图像分析**:自动分割器官或病变区域。 - **自动驾驶**:道路和障碍物分割。 - **遥感影像**:土地利用分类。 #### 5. 相关资源 - 官方Demo:[Segment Anything Demo](https://segment-anything.com/demo) - 论文:[Segment Anything](https://arxiv.org/abs/2304.02643) ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值