pytorch dataset_3DUNet的Pytorch实现

最新推荐文章于 2024-08-02 06:53:48 发布
最新推荐文章于 2024-08-02 06:53:48 发布
阅读量1.7k 收藏 26
点赞数 1
文章标签： pytorch dataset

23d55640833b6569462c37aaddc0d195.png

本文主要介绍3DUNet网络，及其在LiTS2017肝脏肿瘤数据集上训练的Pytorch实现代码。

GitHub地址：

https://github.com/lee-zq/3DUNet-Pytorch​github.com

LiTS2017数据集 链接：

https://pan.baidu.com/s/1WgP2Ttxn_CV-yRT4UyqHWw​pan.baidu.com

提取码：hfl8 （+_+||...=_=''。。。^_^）

一.3DUNet简介

最近重新整理了一下关于3DUNet网络原理及代码，这个网络其实和2DUNet区别不大，简单说可以理解为2d卷积换为了3d卷积。整体上没有什么创新，但可以基于一套完整的3DUNet代码（包括预处理、训练、可视化、测试等等）可以简化很多工作，在此基础上实现更多的细节改进，比如设计替换最新模块等等。对比下图中的2dUNet和3dUNet网络结构：

9ba1a5ad13769fc9007150009e56fa51.png
3DUNet网络结构

fe1e375b04c2cecd3318c6f3b4dcc4ee.png
2DUNet网络结构

除了一些超参数设置不同，以及2d和3d卷积的区别，两者设计思路几乎完全一样。所以在网络结构上没啥要说的。

二. 3DUNet的Pytorch实现

本文的3DUNet代码主要参考了这个项目（here），修改了一些bug并进行了代码重构和梳理。可以直接访问下面的github仓库链接download并按照readme步骤使用：

https://github.com/lee-zq/3DUNet-Pytorch​github.com

在这里我也再梳理一下代码结构和设计思路，以及使用方法。

  1. 准备工作

首先下载代码：

git clone https://github.com/lee-zq/3DUNet-Pytorch.git

下载的代码结构和对应的功能如下：

│  .gitignore
│  config.py              # 超参数配置
│  README.md              # 使用方法介绍
│  train.py               # 模型训练与验证函数  （主函数）
│  train_faster.py        # 针对加载数据太慢，更换了dataloader的模型训练函数   （主函数）
│  test.py                # 针对每个测试样本分patch进行推理并拼接为分割结果
│
├─dataset
│  │  dataset_lits.py    # 对LiTS数据集设计的dataset类，train.py调用
│  │  dataset_lits_faster.py   # 对LiTS数据集设计的dataset类，train_faster.py调用
├─models
│  │  Unet.py            # 2D、3DUNet网络模型
│  │
│  ├─nn                 # 网络公用模块存放位置，目前还未更新
│
├─output                 # trained models 都保存在这里面
│      readme.md          
│
├─preprocess             # 预处理模块，主要对原始数据集进行初步处理，和项目内其他代码完全隔离。如格式转换、切片提取等等             
│      preprocess_LiTS.py # 针对LiTS2017数据集设计的预处理方案
│
├─utils                  # 其他模块
│  │  common.py          # 常用函数包
│  │  init_util.py       # 初始化相关包
│  │  logger.py          # 日志生成函数
│  │  metrics.py         # 评价指标

然后从文章开头的百度云链接下载LiTS2017数据集。

此外还有python环境配置要求：

pytorch >= 1.1.0
torchvision
SimpleITK
Tensorboard
Scipy

由上面的项目结构基本就可以知道代码运行的步骤了，如下：

2. 预处理步骤

将下载的LiTS数据集解压至任一目录（例如./raw_dataset/），这里建议将batch1(0~27)作为测试集，将batch2（28~130）作为训练集。然后分别将训练集和测试集里面的volum数据和segmentation数据分别放入该目录下的data文件夹和label文件夹（若计算资源有限或测试代码，可先提取一部分数据）。如下：

raw_dataset:
    ├── LiTS_batch1  # (0~27)
    │   ├── data
    │   │   ├── volume-0.nii
    │   │   ├── volume-10.nii ...
    │   └── label
    │       ├── segmentation-0.nii
    │       ├── segmentation-10.nii ...
    │       
    ├── LiTS_batch2 # (28~130)
    │   ├── data
    │   │   ├── volume-28.nii
    │   │   ├── volume-29.nii ...
    │   └── label
    │       ├── segmentation-28.nii
    │       ├── segmentation-29.nii ...

然后在 preprocess/preprocess_LiTS.py文件中更改预处理输入、输出目录：

raw_dataset_path = './raw_dataset/LiTS_batch2/'  # 输入数据集路径
fixed_dataset_path = './fixed_data/'  # 预处理后的数据集的输出路径

执行 python preprocess/preprocess_LiTS.py ，运行完后在 fixed_dataset_path='./fixed_data/' 目录下可生成如下内容：

│  train_name_list.txt    # 训练集文件名 list
│  val_name_list.txt      # 验证集文件名 list
│
├─data               # 预处理后的data数据
│      volume-28.nii
│      volume-29.nii
│      volume-30.nii
│      ...
└─label              # 预处理后的标签数据
        segmentation-28.nii
        segmentation-29.nii
        segmentation-30.nii
        ...

到这里，数据预处理完成。预处理的内容可通过源代码了解，我也加了中文注释。

3. 模型训练

首先在 config.py中修改超参数--dataset_path为我们预处理后的数据根目录 ：./fixed_data ，其他参数也可以根据注释自行修改。当然你也可以在下面运行训练命令的时候指定参数去覆盖默认参数。

然后运行 python train.py --save model_name

这样训练即开始，到指定迭代次数，就会在output/model_name下生成保存的模型文件和日志文件，你可以通过 tensorboard --logdir ./output/model_name在浏览器查看训练过程中dice和loss。

训练模型时，大概率会出现GPU利用率不满/跳变的情况，这时建议使用 train_faster.py替换 train.py进行训练，可以实现从一个输入样本提取一个batch进行训练（通过调用dataset_lits_faster.py 实现），这样速度会快很多，但可能导致收敛较慢。

PS：一些问题

  • 采用的数据集包含三类标签：背景、肝脏、肝肿瘤。肿瘤附着在肝脏上，体积很小。所以，直接按照三类来进行训练，会导致肿瘤分割效果较差，这个可以通过实验结果验证。所以对此类问题我们一般都是先分割或检测肝脏得到肝脏ROI，然后在此ROI内完成肿瘤分割。
  • 保存模型的机制还需要改进，后续会增加保存验证指标最高和最新epoch得到的模型。

参考：

  • https://github.com/panxiaobai/lits_pytorch
  • https://zhuanlan.zhihu.com/p/104854615

一些相关截图分享，验证结果可视化：

b6659c648b26512ba524558372e9a2b8.png

a6afa373fd2d290ca303f7c80584b8c3.png

c106cffd8a1548b0315347fe8dcab8ed.png

52b41c9ad8f0a0e12f42553c4180c74d.png
weixin_39789690
关注
探秘3D UNet-PyTorch：高效三维图像分割利器
gitblog_00077的博客
04-19 1319
探秘3D UNet-PyTorch：高效三维图像分割利器 项目地址:https://gitcode.com/lee-zq/3DUNet-Pytorch 在医学影像处理、计算机视觉和自动驾驶等领域，三维图像的理解与分析至关重要。而3D UNet是一个基于PyTorch实现的深度学习模型，专为三维图像分割任务设计。本文将深入剖析该项目的技术细节，应用场景及特性，以期吸引更多的开发者和研究人员参与其中...
A_PyTorch_实现_本地_丢失_focal_loss_pytorch_A_PyTorch_
最新发布
08-26
A_PyTorch_实现_本地_丢失Implementation_of_Focal_Loss._focal_loss_pytorch.zip_focal_loss_pytorch_A_PyTorch_Implementation_of_Focal_Loss._focal_loss_pytorch
pytorch-3dunet:用pytorch编写的用于体积语义分割的3D U-Net模型
05-05
pytorch-3dunet PyTorch实施3D U-Net及其变体： 基于3D U-Net的标准3D U-Net ÖzgünÇiçek等人。 基于残差3D U-Net。 该代码允许对U-Net进行以下方面的训练：语义分割（二进制和多类）和回归问题（例如降噪，学习解卷积）。 二维U网 也可以训练标准2D U-Net，有关示例配置，请参见 。 只需确保将单例z维保留在H5数据集中（即(1, Y, X)而不是(Y, X) ），因为数据加载/数据扩充始终需要3级张量。 先决条件 Linux NVIDIA GPU CUDA CuDNN 在Windows上运行 该软件包尚未在Windows上进行过测试，但是有报告称该软件包已在Windows上使用。 要记住的一件事：在使用CrossEntropyLoss进行训练时：配置文件中的标签类型应该从long更改为int64 ，否则会出现错误：
损失函数matlab代码-3D-UNet-PyTorch-Implementation:使用PyTorch实现3D-UNet
06-08
损失函数matlab代码3D-UNet-PyTorch-实现 这是Özgün Çiçek等人提出的3D UNet的实现，详情请参考：。 使用的数据集：，我使用的数据集已经被其他人处理过，由于某些原因我不能在这里分享它。 如果您想在工作中使用它，请参考提供的 MATLAB 代码并将图像转换为适当的格式以供进一步处理和分析。 描述 这里描述每个文件和文件夹的功能 训练结果 这里显示了包括训练损失和 mIOU 在内的训练结果。 注：由于硬件资源有限，代码尚未成功测试。 WIP（最近很忙，代码可能更新得有点晚。但是，我一直在努力）。
U-Net++原理与实现(含Pytorch和TensorFlow源码)
m0_59257547的博客
08-02 1787
本文旨在介绍 U-Net++ 的基本原理与其对应的pytorch版本和tf版本的源码实现，开源免费！
3DUnetCNN:Pytorch 3D U-Net卷积神经网络（CNN）设计用于医学图像分割
05-13
3D U-Net卷积神经网络 背景 我们设计3DUnetCNN使其易于应用和控制各种深度学习模型对医学成像数据的训练和应用。 上面的链接提供了有关如何将本项目与来自MICCAI各种挑战的数据一起使用的示例/教程。 依存关系 火炬 Nilearn 大熊猫 凯拉斯 有问题吗？ 加入或给我发电子邮件 。 引文 Ellis DG，Aizenberg MR（2021年），尝试使用开源深度学习框架对胶质瘤进行分割的U-Net培训修改。 在：Crimi A.，Bakas S.（eds）脑损伤：脑胶质瘤，多发性硬化症，中风和脑外伤。 《 BrainLes 2020》。计算机科学讲座，第12659卷。ChamSpringer。 https://doi.org/10.1007/978-3-030-72087-2_4 其他引用 Ellis DG，Aizenberg MR（2020）使用通过注册增强的深度
[pytorch] 3D Unet + Resnet替换Encoder
qq_38736504的博客
03-28 2164
本文介绍如何实现Unet的3D版本，以及如何用Resnet替换Unet原始版本的Encoder.原版Unet的实现:Resnet的实现:建议先对这两种网络结构有一定的了解，如果懒得去学习的话可以直接使用第三章节U-Net_resnet_encoder的完整代码。
d2lzh_pytorch_深度学习_pytorch_d2lzh_pytorch下载_deeplearning_d2lzh_py
09-11
3. **D2LZH PyTorch** "D2LZH PyTorch"是针对中文用户的一份深度学习教程，它结合了PyTorch框架，详细讲解了深度学习的基本概念、模型和实践技巧。教程内容涵盖从基础知识到高级应用，是初学者和进阶者学习PyTorch...
pytorch_msssim
08-15
pytorch_msssim源码
Python库 | pytorch_forecasting-0.4.1-py3-none-any.whl
04-25
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：pytorch_forecasting-0.4.1-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
UNet-3D个人理解及代码实现（PyTorch）
热门推荐
张壮壮的博客
04-07 2万+
以下内容均为个人理解，如有错误，欢迎指正。 UNet-3D 论文链接：地址 网络结构 UNet-3D和UNet-2D的基本结构是差不多的，分成小模块来看，也是有连续两次卷积，下采样，上采样，特征融合以及最后一次卷积。 UNet-2D可参考：VGG16+UNet个人理解及代码实现（Pytorch） 不同的是，UNet-3D的卷积是三维的卷积。 关于2D卷积和3D卷积的区别可参见这篇文章：链接 需要注意的是，UNet-3D的连续两次卷积操作中，第一次卷积和第二次卷积的输出通道数是不同的（UNet-2D的连续两
3D-ResNets-PyTorch-master.zip
09-02
这是关于论文Can Spatiotemporal 3D CNNs Retrace the History of 2D CNNs and ImageNet?的相关代码
pytorch 编写unet网络用于图像分割
07-29
pytorch实现unet网络，专门用于进行图像分割训练。该代码打过kaggle上的 Carvana Image Masking Challenge from a high definition image.
LITS2017肝脏肿瘤分割挑战数据集
05-10
LITS2017肝脏肿瘤分割挑战数据集，里面是百度网盘永久下载链接，深度学习使用
LITS2017肝脏肿瘤分割挑战数据集.txt
08-27
LITS2017肝脏肿瘤分割挑战数据集，里面是百度网盘永久下载链接，深度学习使用，数据太大无法上传如果网盘资料到期，请私信我，或者加我百度云2642828613@qq.com,第一时间补发。
my_3d_unet
02-08
my_3d_unet
【3D图像分割】基于 Pytorch 的 3D 图像分割3（3D UNet 模型篇）
钱多多先森
11-03 6086
3D UNet 模型的搭建，提供了思路，帮助你快速而全面的了解该模型，并通过预测试方式，了解模型情况
【Python/Pytorch - 网络模型】-- 手把手搭建3D U-Net模型
银尘博客
06-12 498
通过3D U-Net代码学习，可以学习基于Pytorch的网络结构模块化编程，对于后续学习其他更复杂3D网络模型，有很大的帮助作用。在01中，可以根据3D U-Net的网络结构（开头图片），进行模块化编程。包括卷积模块定义、上采样模块定义、下采样模块定义、输出卷积层定义、网络模型定义等。在模型调试过程中，可以先通过简单测试代码，进行代码调试。
Pytorch实现TripletAttention
AI浩
11-27 722
# !/usr/bin/env python # -- coding: utf-8 -- import torch import torch.nn as nn import torchvision class ChannelPool(nn.Module): def forward(self, x): return torch.cat( (torch.max(x,1)[0].unsqueeze(1), torch.mean(x,1).unsqueeze(1)), dim=1 )
pytorch安装pytorch_grad_cam
05-17
要安装pytorch_grad_cam，可以通过以下步骤进行操作： 1. 确认已安装PyTorch和OpenCV。可以通过以下命令来检查： ``` import torch import cv2 print(torch.__version__) print(cv2.__version__) ``` 2. 安装pytorch_grad_cam： ``` pip install pytorch-grad-cam ``` 3. 测试安装是否成功： ``` from pytorch_grad_cam import GradCAM # 如果没有报错，则说明安装成功 ``` 这样，你就可以在Python脚本中使用pytorch_grad_cam了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值