医疗影像分割 | 使用SAM2-UNet训练自己的数据集

已于 2024-11-18 13:24:14 修改
阅读量2.2k 收藏 7
点赞数 8
分类专栏： 智能医疗 文章标签： 人工智能 算法 深度学习 图像处理 健康医疗 python
于 2024-09-14 15:52:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiRongLu_/article/details/142062332
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 6368
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
【Segment Anything Model】四：预处理自己的数据集接入SAM
cvxiayixiao的博客
08-07 5682
1️⃣预备知识。
基于sam结合unet的dataset实现
12-07
基于sam结合unet的dataset实现
SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segment模型解析与代码分享
一个AI从业者的博客
03-07 1688
文章《SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation》提出了网络模型SAM2-UNet，在伪装物体检测、显著性检测、海洋动物分割、镜像检测、息肉分割应用，证明Segment Anything Model 2（SAM2）可以作为强大的编码器，用于通用图像分割。本博客对该模型进行解析。
[作者解读] SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation
xiongxyowo的博客
08-22 3966
SAM2-UNet 采用 SAM2 的 Hiera 骨干作为编码器，而解码器则采用经典的 U 型设计。此外，还在编码器中插入了Adapter，以便进行参数高效微调。在各种下游任务(如伪装目标检测、显著目标检测、海洋动物分割、镜面检测和息肉分割)上进行的初步实验表明，我们的 SAM2-UNet 完全可以击败现有的最先进专业方法，而无需任何花哨设计。
SAM2-UNet: SAM2用于自然和医学图像分割
u014546828的博客
08-20 2751
本文证明了 Segment Anything Model 2 (SAM2) 对于U-Net图像分割任务非常有效。本文提出了图像分割的 SAM2-UNet。SAM2-UNet 使用 SAM2 的分级骨干网络作为编码器；解码器使用经典U-Net。微调过程的adapters插在编码器中。
SAM2从头训练自己的数据集
weixin_44298961的博客
12-02 4695
说点废话1.准备数据集2.配置训练文件3.开始训练4.预测结果。
论文学习1：SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation
qq_63318216的博客
11-28 2100
图像分割在视觉理解中起着重要作用。近年来，新兴的视觉基础模型在各种任务中持续取得了优异的表现。基于这一成功的经验，在本文，我们可以证明Segment Anything Model 2（SAM2）可以成为应用于U形分割模型的一个功能强大的编码器。我们提出了一个简单但有效的框架，称其为SAM2-UNet，用于实现多功能图像分割。具体来说，此框架采用基于SAM2预训练的Hiera骨干网络作为编码器，而解码器则使用经典的U形设计。此外，我们在编码器中插入适配器，以实现高效的参数微调。
COD论文笔记SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmen
985小菜鸡
09-05 4889
引言部分概述了图像分割的重要性、现有基础模型的潜力及其局限性，并提出了本文的研究目标，即通过提出SAM2-UNet，构建一个强大、简单、且适用于多种任务的分割框架。引言也为接下来的模型设计和实验铺垫了理论基础。SAM2-UNet 通过将 SAM2 的 Hiera 预训练骨干网络与 U 形解码器相结合，构建了一个简单、高效、强大的图像分割框架。模型使用接收域块减少通道数，并通过适配器实现参数高效的微调。该方法在多种任务上展现了极强的通用性，能够适应不同类型的图像分割需求。
SAM 提示框和 Unet的语义分割的融合：自动驾驶车道线分割
Henry的博客
08-31 2645
最近SAM 模型复现的多了，看了不少官方的源码，尝试下SAM和Unet的结合SAM的提示分割，其实就是在分割的时候，为数据增加一个提示信息，可以是框，点，或者文本等等。这样大模型网络就可以根据提示信息进行分割如下图，就是手动的给出提示框，然后网络分割出框里的内容需要注意的是，本文不对SAM的原理进行讲解，只是借鉴SAM的提示分割思想，将其和unet结合其实，思想很简单，一般的图像分割网络是的，因为图像都是的。而这里需要传入sam的，所以还要增加一个维度，也就是说最开始。
图像分割 | 使用UltraLight-VM-UNet训练自己的数据集（Mamba+UNet医学影像分割实战）
LiRongLu_的博客
10-17 865
一种创新的超轻量级医学图像分割网络UltraLight VM-UNet[1]，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，该论文实现了皮肤病变分割任务 中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。
MSA【2】：Medical SAM Adapter
BUPTer
07-21 1520
随着研究的深入，SAM被拓展到医学图像分割领域。但研究表明，直接将SAM用于医学图像分割，效果非常差。但医疗数据难以获取以及高昂的注释成本迫切的需要一个基础模型来打卡局面，不仅仅在图像分割层面，更是在数据注释方面。本文介绍了第一个将Adaption微调方法用于SAM的模型，该模型在 19 个数据集上都取得了惊人的效果。这为后续SAM的研究和 fine-tune 工作，提供了一个有效的参考和指导。最近的许多评测任务表明，SAM一个自然的问题是，如何将SAM。
SAM2训练自己的数据集
AIcurator的博客
01-04 2530
SAM2（Segment Anything Model 2）是由Meta公司开发的一款先进的图像和视频分割模型，它是Segment Anything Model（SAM）的升级版本。与第一代相比，SAM2在多个方面实现了显著的改进，包括：SAM2的一个重要进展是它的能力从图像分割扩展到了视频分割，能够处理视频中的对象，而不仅仅是静态图像。：SAM2能够实时处理任意长度的视频，这在实际应用中非常有用，尤其是在需要快速响应的场景中。
SAM 微调在医学上的尝试
m0_37192554的博客
11-06 725
ICCV 2023 Oral | 超越SAM！EntitySeg：更少的数据，更高的分割质量！本文提出 SonoSAM：一种用于分割超声图像上感兴趣对象的快速基础模型。SAM-Med2D 医学图像分割来了！绿色是预测的， 蓝色是真实标注，
如何利用SAM(segment-anything)制作自己的分割数据集
weixin_42120861的博客
04-23 2995
利用SAM(segment-anything)制作自己的分割数据集
SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation
@Elaine
03-10 8874
论文阅读：SA-UNet: Spatial Attention U-Net for Retinal Vessel Segmentation 用于视网膜血管分割的空间注意力U-Net        摘要：视网膜血管的精确分割（精确分割precise segmentation）对早期诊断与眼病有关的疾病，如糖尿病和高血压具有重要意义。在这项工作中，我们提出了一个轻量级的网络（lightweight network），称为空间注意力U-Net（SA-UN
SA-UNet：用于视网膜血管分割的空间注意力UNet
weixin_43921949的博客
12-18 4657
SAUNet
SAM 2——视频和图像实时实例分割的全新开源模
01-27 851
过去几年，人工智能领域在文本处理的基础人工智能方面取得了显著进步，这些进步改变了从客户服务到法律分析等各个行业。然而，在图像处理方面，我们才刚刚开始。视觉数据的复杂性以及训练模型以准确解释和分析图像的挑战带来了重大障碍。随着研究人员继续探索图像和视频的基础人工智能，人工智能图像处理的未来有望为医疗保健、自动驾驶汽车等领域带来创新。对象分割是计算机视觉中的一项关键任务，它涉及精确定位图像中与感兴趣对象相对应的像素。传统上，这涉及创建专门的 AI 模型，这需要广泛的基础设施和大量带注释的数据。
sam训练自己数据集
最新发布
03-08
### 使用 SAM 模型训练自定义数据集 为了使用 Segment Anything Model (SAM) 训练自定义数据集，需遵循一系列特定步骤来准备环境、预处理数据并调整模型配置。 #### 准备工作 确保安装必要的依赖库和工具链。对于 Python 环境而言，推荐创建独立的虚拟环境以避免版本冲突。可以利用 `conda` 或者 `venv` 创建新的Python环境[^1]。 ```bash conda create --name sam_env python=3.8 conda activate sam_env pip install -r requirements.txt ``` 其中 `requirements.txt` 文件应包含所有必需包及其兼容版本号。 #### 数据预处理 针对不同类型的输入数据，可能需要执行不同的转换操作。特别是当涉及医学影像或其他特殊格式文件时，如 `.nii.gz` 格式的三维体素数据，则要将其转化为二维切片保存为 `.npy` 数组形式以便于后续加载与处理[^2]。 ```python import nibabel as nib import numpy as np def nifti_to_npy(nifti_path, output_dir): img = nib.load(nifti_path) data = img.get_fdata() for i in range(data.shape[-1]): slice_data = data[:, :, i] np.save(f"{output_dir}/slice_{i}.npy", slice_data) # 调用函数实例化转化过程 nifti_to_npy('path/to/your/nifti/file.nii.gz', 'output/directory') ``` 此段代码展示了如何读取 NIfTI 文件并将每一层存储为单独的 NumPy数组文件。 #### 自定义数据集适配 为了让 SAM 接受新类型的数据作为输入，通常还需要编写额外的代码片段用于构建适合该架构使用的 Dataset 类以及 DataLoader 实例对象。这一步骤涉及到定义具体的提示机制——即通过点、边界框或者两者的组合向网络提供指导信息[^3]。 ```python from torch.utils.data import Dataset, DataLoader import os import numpy as np class CustomDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = root_dir self.transform = transform self.files = [f for f in os.listdir(root_dir) if f.endswith('.npy')] def __len__(self): return len(self.files) def __getitem__(self, idx): file_name = os.path.join(self.root_dir, self.files[idx]) image = np.load(file_name).astype(np.float32) sample = {'image': image} if self.transform: sample = self.transform(sample) return sample dataset = CustomDataset(root_dir='processed_slices/') dataloader = DataLoader(dataset, batch_size=4, shuffle=True) ``` 上述代码实现了简单的 PyTorch 风格的数据集类，并设置了基本参数。 #### 微调 SAM 模型 最后，在完成以上准备工作之后就可以着手修改源码中的超参设置部分了；比如改变默认的学习率、迭代次数等选项，从而更好地适应当前任务需求。同时也要注意检查官方文档获取更多有关 API 的细节说明。 ```yaml train: epochs: 50 lr_scheduler: type: CosineAnnealingLR T_max: ${train.epochs} eta_min: 0.0 optimizer: name: AdamW params_lr: 0.0001 ``` 这里给出了一种常见的优化器配置方案样例。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程日记✧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值