SAM 微调在医学上的尝试

最新推荐文章于 2025-03-07 15:18:29 发布
最新推荐文章于 2025-03-07 15:18:29 发布
阅读量707 收藏 8
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37192554/article/details/134245348
版权

1、2023下半年

1、 UNet与SAM结合的正确的道路SAMUS,一路SOTA没对手！

https://github.com/xianlin7/SAMUS
在这里插入图片描述

2、

本文提出 SonoSAM：一种用于分割超声图像上感兴趣对象的快速基础模型。
https://zhuanlan.zhihu.com/p/663988684
未开源

绿色是预测的， 蓝色是真实标注，
在这里插入图片描述

3、

ICCV 2023 Oral | 超越SAM！EntitySeg：更少的数据，更高的分割质量！
https://zhuanlan.zhihu.com/p/658589462

图像质量更好，
开源：
https://github.com/qqlu/Entity/tree/main/Entityv2

4、

SAM-Med2D 医学图像分割来了！
https://zhuanlan.zhihu.com/p/654697549

https://github.com/OpenGVLab/SAM-Med2D

在这里插入图片描述

SAM-Med 2D视觉大模型复现、训练自定义数据集：脊椎分割
08-08
SAM-Med 2D视觉大模型复现、训练自定义数据集：脊椎分割 数据集在RawData下，运行process脚本可以直接生成可供SAM-Med 2D模型训练的数据data_demo。无需更改脚本，直接运行train脚本即可 doc文件可以看到脊椎sam模型的分割和预测结果，以及训练数据的详细方法
【SAM综述】医学图像分割的分割一切模型：当前应用和未来方向
热门推荐
风巽·剑染春水的博客
02-27 1万+
鉴于prompt的灵活性，foundation models已成为自然语言处理和计算机视觉领域中的主导力量。最近SAM的兴起，使得prompt-driven范式在图像分割领域显著发展，进而引入了大量以前未开发的功能。但医学图像与自然图像还是存在较大差异，SAM应用于医学图像的可行性尚未可知。在本文中，作者进行了全面综述，介绍医学图像分割任务中SAM的有效性，包括基线测试和方法调整，还探索了SAM在医学图像分割中的潜在研究方向。
使用adapter微调SAM应用于医学图像（2023+Medical SAM Adapter: Adapting SegmentAnything Model for Medical Image）
weixin_39699362的博客
08-01 2624
本文采用一种简单而有效的自适应技术，将医学特定领域的知识集成到分割模型中，而不是对SAM模型进行微调。虽然这项工作仍然是少数将流行的NLP技术适配器转移到计算机视觉案例中的一个，但这个简单的实现在医学图像分割上显示出惊人的良好性能。我们称之为医学SAM适配器(medical SAM Adapter, MSA)的医学图像，在包括CT、MRI、超声图像、眼底图像和皮肤镜图像在内的19种不同图像模式的医学图像分割任务中表现出优异的性能。
SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segment模型解析与代码分享
最新发布
一个AI从业者的博客
03-07 1378
文章《SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation》提出了网络模型SAM2-UNet，在伪装物体检测、显著性检测、海洋动物分割、镜像检测、息肉分割应用，证明Segment Anything Model 2（SAM2）可以作为强大的编码器，用于通用图像分割。本博客对该模型进行解析。
【深度学习总结_02】在自己的数据集微调SAM
qq_41234663的博客
04-21 1万+
使用医疗影像数据微调SAM
项目实训（十六）--对SAM进行微调
yyyyyyyx_的博客
05-31 2795
将读取的灰度图片gt_grayscale与0进行比较，得到一个布尔数组，其中值为真的地方表示遮罩上的对应像素为黑色（即对象的一部分），值为假的地方表示遮罩上的对应像素为白色（即背景）。因为我们预计要对SAM模型进行微调的算力还是需要不少的，而我们成员里大家的个人电脑都无法提供比较好的算力支持，因此我们需要去网上租借服务器，进行SAM模型的微调算力部署。这里我们可以使用AutoDL服务器，实验室的服务器也是在上面租的，因为autodl本身价格并不算太高加上可以按时租借，是比级符合我们的需求的。
项目实训（十五）——学习如何进行SAM模型的微调
yyyyyyyx_的博客
05-31 2907
迭代采样策略类似于与真实用户的交互，因为在实践中，每次新的点击都被放置在由网络使用先前点击集产生的预测的错误区域中。在SAM中，作者使用CLIP生成的目标对象作物的图像嵌入作为接近其在CLIP中对应的文本描述或定义的图像嵌入。将一个VIT块分成两个分支，depth branch 和 space branch，对于给定深度为D的3D样本，我们将D x N x L发送到空间分支中的多头注意力，其中N为嵌入的数量，L为嵌入的长度。然而，医疗领域有一些独特的需求和挑战，使得在这个领域对SAM进行微调是必要的。
创新项目实训（14）—— SAM微调结果
2401_83485566的博客
06-04 1396
具体代码在之前已经大致讲过了，这里讲讲微调的过程和最终的结果。
Segment-anything学习到微调系列3_SAM微调decoder
qq_37795208的博客
07-29 2345
SAM初步理解，简单介绍模型框架，不涉及细节和代码SAM细节理解，对各模块结合代码进一步分析SAM微调实例，原始代码涉及隐私，此部分使用公开的VOC2007数据集，Point和Box作为提示进行mask decoder微调讲解本篇是第3部分，基于voc2007数据集对SAM decoder进行微调。代码已上传至github。
SAM 2:分割图像和视频中的任何内容
AI浩
09-08 1601
我们提出了“Segment Anything Model 2”（SAM 2），这是一种基础模型，旨在解决图像和视频中的可提示视觉分割问题。我们构建了一个数据引擎，该引擎通过用户交互改进模型和数据，以收集迄今为止最大的视频分割数据集。我们的模型采用带有流式内存的简单变换器架构，适用于实时视频处理。使用我们的数据进行训练的SAM 2在广泛的任务中表现出色。在视频分割方面，我们观察到比先前方法更高的准确性，同时所需的交互次数减少了3倍。
ECCV 2024 | CC-SAM：用于超声图像分割的跨特征注意力和上下文的SAM
小白学视觉
12-15 533
Segment Anything Model（SAM）在自然图像分割领域取得了显著的成功，但在医学图像领域的应用遇到了挑战。具体来说，该模型在处理医学图像时存在困难，这些图像特征对比度低、边界模糊、形态复杂且包含小尺寸物体。为了应对这些挑战并增强SAM在医学领域的性能，作者引入了一种全面的修改。首先，作者整合了一个固定的卷积神经网络（CNN）分支作为图像编码器，通过一个新颖的变分注意力融合模块与SAM原始的视觉变换器（ViT）编码器协同工作。
打造三甲医院人工智能矩阵新引擎（五）：精确分割模型篇 Medical SAM 2
AllenLV的博客
01-09 1112
在某些特定的医学研究或临床应用场景下，通用的Medical SAM 2模型可能无法完全满足需求，此时对模型进行自定义微调就显得尤为重要。例如，在针对某一罕见疾病的影像诊断研究中，该疾病具有独特的影像特征，通用模型可能无法精准识别病变区域，通过在特定的小样本数据集上对Medical SAM 2进行微调，能够使其更好地适应这一特殊任务。自定义模型微调的步骤如下：首先，需要加载自定义的医学数据集。假设我们有一个针对特定脑部疾病的小型MRI影像数据集，存储在本地目录。
[24.09.28更新NeurIPS‘24]SAM（Segment Anything Model）最新顶会文章汇总
Alan_Dr的博客
08-23 1199
SAM（Segment Anything Model）最新顶会文章汇总 24.09.28更新NeurIPS'24
文献速递：基于SAM的医学图像分割---阶梯式微调方法，用于整合补充网络的自适应矩估计（SAM）
weixin_38594676的博客
03-20 1113
之后，轻量级的提示编码器和遮罩解码器可以根据不同的输入提示与用户实时在网页浏览器中进行交互。然而，在医学成像中， 由于隐私问题和其他因素导致的训练样本缺乏，为这些泛化模型在医学图像分割任务中的应用带来了主要挑战。在本研究中，我们提议结合一个补充的卷积神经网络（CNN）和标准的SAM网络，用于医学图像分割。为了减轻微调大型基础模型的负担，并实施成本高效的训练方案，我们仅关注于微调附加的CNN网络和SAM解码器部分。我们提出的方法中，集成CNN编码器同时采用可学习的权重参数，取得了显著的结果。
使用SAM为医学图像定制分割模型（2023+Customized Segment Anything Model forMedical Image Segmentation，微调）
weixin_39699362的博客
07-30 2239
提出了基于SAM医学图像分割的通用解决方案SAMed,探索针对医学图像分割的定制化大规模模型的研究新范式。SAMed将低秩调优策略应用于SAM图像编码器，并在标记医学图像分割数据集上与提示编码器和掩码解码器一起进行调优。预微调策略和AdamW优化器使SAMed成功收敛并降低了损失。与SAM不同的是，SAMed可以对医学图像进行语义分割。由于SAMed只更新SAM参数的一小部分，部署成本和存储成本非常小。SAMed的代码可在https://github.com/hitachinsk/SAMed上获得。
【深度学习：大模型微调】如何微调SAM
欢迎来到最优秀的博客
02-20 9963
Segment Anything 模型 （SAM） 是由 Meta AI 开发的细分模型。它被认为是计算机视觉的第一个基础模型。SAM在包含数百万张图像和数十亿个掩码的庞大数据语料库上进行了训练，使其非常强大。顾名思义，SAM 能够为各种图像生成准确的分割掩码。SAM 的设计允许它考虑人类提示，使其在 Human In The Loop 注释中特别强大。这些提示可以是多模式的：它们可以是要分割的区域上的点、要分割的对象周围的边界框，也可以是有关应分割的内容的文本提示。
SAM2分割模型微调指南
新缸中之脑
08-09 6354
SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在对图像中的任何内容进行分割，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。你可能会问，如果 SAM 可以分割任何东西，为什么我们还需要重新训练它？答案是 SAM 在常见物体方面非常出色，但在罕见或特定领域的任务上表现不佳。
【Segment Anything Model】三：SAM模型微调自定义数据集，更改混合提示方式：点，框，点框混合
cvxiayixiao的博客
08-04 1万+
1.微调SAM预备知识。
PerSAM！单图即可定制专属SAM模型！支持微调，甚至可增强DreamBooth
zero的博客
05-09 3694
大家好呀，我是阿潘。Meta 的Segment Anything Model 着实火了一把，今天来和大家分享一篇相关的研究成果，论文和代码都已开源：从标题的字面意思应该就是指仅需一个样本即可定制个性化的SAM。PersonalizeSegmentAnythingModelwithOneShot https://arxiv.org/pdf/2305.03048.pdf https:...
Medical SAM 微调
02-07
例如，可以在SAM的基础上引入专门设计的任务头(task-specific head)，从而让网络专注于解决某一类具体的临床问题。另外，考虑到资源消耗与性能之间的平衡，也可以考虑采用低秩分解(low-rank decomposition)或是参数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值