一文讲清nnUNetv2在自己数据集上训练

已于 2024-09-03 14:12:35 修改
阅读量563 收藏 20
点赞数 11
分类专栏： nnUNet训练 文章标签： 人工智能 深度学习 linux
于 2024-08-31 16:26:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen_niansan/article/details/141727259
版权

本文只讲述nnunetv2的在2D图像的上复现步骤，对于实现细节可以阅读原文和代码！

1. 下载代码与构建环境：

git clone https://github.com/MIC-DKFZ/nnUNet.git  # 下载代码
cd nnUNet  # 切换目录
conda create -n myenv python=3.9  # 注意nnUNetv2需要python>=3.9
conda activate myenv
pip install nnunetv2
pip install -e .  #最后这个点也不能忽略

安装隐藏层（可选，可以不安装），hiddenlayer 使 nnU-net 能够生成网络拓扑图

pip install --upgrade git+https://github.com/FabianIsensee/hiddenlayer.git

2. 数据准备

（1）在nnunet 文件夹下创建DATASET文件夹，并创建 nnUNet_raw、nnUNet_preprocessed 和 nnUNet_trained_models，文件目录如下：

在这里插入图片描述

3.设置环境路径

（1）打开根目录下 .bashrc 文件，在最后一行添加：

export nnUNet_raw="根路径/nnUNet/DATASET/nnUNet_raw"
export nnUNet_preprocessed="根路径/nnUNet/DATASET/nnUNet_preprocessed"
export nnUNet_results="根路径/nnUNet/DATASET/nnUNet_trained_models"

注意修改“根路径”
（2）终端运行代码更新 .bashrc:

source ~/.bashrc

================================= 或者 =================================
可修改文件：“…/nnUNet/nnunetv2/paths.py”

nnUNet_raw = os.environ.get('根目录/nnUNet/DATASET/nnUNet_raw')
nnUNet_preprocessed = os.environ.get('根目录/nnUNet/DATASET/nnUNet_preprocessed')
nnUNet_results = os.environ.get('根目录/nnUNet/DATASET/nnUNet_trained_models')

如遇到如下问题：
nnUNet_raw is not defined and nnU-Net can only be used on data for which preprocessed files " "are already present on your system. nnU-Net cannot be used for experiment planning and preprocessing like " "this. If this is not intended, please read documentation/setting_up_paths.md for information on how to set " "this up properly.
…
则修改代码如下：

nnUNet_raw="根目录/nnUNet/DATASET/nnUNet_raw"
nnUNet_preprocessed="根目录/nnUNet/DATASET/nnUNet_preprocessed"
nnUNet_results="根目录/nnUNet/DATASET/nnUNet_trained_models"

4. 转换数据集

（1）将自己的数据集创建为如下结构：
在这里插入图片描述
input: 图像数据
output:标签数据
（2）修改文件“…/nnUNet/nnunetv2/dataset_conversion/Dataset120_RoadSegmentation.py”：

import multiprocessing
import shutil
from multiprocessing import Pool

from batchgenerators.utilities.file_and_folder_operations import *

from nnunetv2.dataset_conversion.generate_dataset_json import generate_dataset_json
from nnunetv2.paths import nnUNet_raw
from skimage import io
from acvl_utils.morphology.morphology_helper import generic_filter_components
from scipy.ndimage import binary_fill_holes


def load_and_covnert_case(input_image: str, input_seg: str, output_image: str, output_seg: str,
                          min_component_size: int = 50):
    seg = io.imread(input_seg)
    # seg[seg == 255] = 1
    seg[seg == 18] = 1
    seg[seg == 54] = 2
    seg[seg == 255] = 0
    image = io.imread(input_image)
    image = image.sum(2)
    mask = image == (3 * 255)
    # the dataset has large white areas in which road segmentations can exist but no image information is available.
    # Remove the road label in these areas
    mask = generic_filter_components(mask, filter_fn=lambda ids, sizes: [i for j, i in enumerate(ids) if
                                                                         sizes[j] > min_component_size])
    mask = binary_fill_holes(mask)
    seg[mask] = 0
    io.imsave(output_seg, seg, check_contrast=False)
    shutil.copy(input_image, output_image)


if __name__ == "__main__":
    # extracted archive from https://www.kaggle.com/datasets/insaff/massachusetts-roads-dataset?resource=download
    # source = '/media/fabian/data/raw_datasets/Massachussetts_road_seg/road_segmentation_ideal'
    source = '../nnunet_data'
    nnUNet_raw = '../nnUNet/DATASET/nnUNet_raw/'

    # dataset_name = 'Dataset120_RoadSegmentation'
    dataset_name = 'Dataset001_XXX'

    imagestr = join(nnUNet_raw, dataset_name, 'imagesTr')
    imagests = join(nnUNet_raw, dataset_name, 'imagesTs')
    labelstr = join(nnUNet_raw, dataset_name, 'labelsTr')
    labelsts = join(nnUNet_raw, dataset_name, 'labelsTs')
    maybe_mkdir_p(imagestr)
    maybe_mkdir_p(imagests)
    maybe_mkdir_p(labelstr)
    maybe_mkdir_p(labelsts)

    train_source = join(source, 'training')
    test_source = join(source, 'testing')

    with multiprocessing.get_context("spawn").Pool(8) as p:

        # not all training images have a segmentation
        valid_ids = subfiles(join(train_source, 'output'), join=False, suffix='png')
        num_train = len(valid_ids)
        r = []
        for v in valid_ids:
            r.append(
                p.starmap_async(
                    load_and_covnert_case,
                    ((
                         join(train_source, 'input', v),
                         join(train_source, 'output', v),
                         join(imagestr, v[:-4] + '_0000.png'),
                         join(labelstr, v),
                         50
                     ),)
                )
            )

        # test set
        valid_ids = subfiles(join(test_source, 'output'), join=False, suffix='png')
        for v in valid_ids:
            r.append(
                p.starmap_async(
                    load_and_covnert_case,
                    ((
                         join(test_source, 'input', v),
                         join(test_source, 'output', v),
                         join(imagests, v[:-4] + '_0000.png'),
                         join(labelsts, v),
                         50
                     ),)
                )
            )
        _ = [i.get() for i in r]

    # generate_dataset_json(join(nnUNet_raw, dataset_name), {0: 'R', 1: 'G', 2: 'B'}, {'background': 0, 'road': 1},
    #                       num_train, '.png', dataset_name=dataset_name)
    generate_dataset_json(join(nnUNet_raw, dataset_name), {0: 'R', 1: 'G', 2: 'B'}, {'background': 0, 'class1': 1, 'class2': 2},
                      num_train, '.png', dataset_name=dataset_name)

以下部分根据自己的任务修改：

seg[seg == 18] = 1
seg[seg == 54] = 2
seg[seg == 255] = 0

source = '../nnunet_data'
nnUNet_raw = '../nnUNet/DATASET/nnUNet_raw/'
dataset_name = 'Dataset001_XXX'

（3）运行Dataset120_RoadSegmentation.py文件，即可在"…/nnUNet/DATASET/nnUNet_raw/Dataset001_XXX"下生成对应的训练格式和dataset.json文件,如下图所示：
在这里插入图片描述

5. 数据集预处理

此步骤对数据进行：裁剪crop，重采样resample以及标准化normalization

nnUNetv2_plan_and_preprocess -d DATASET_ID --verify_dataset_integrity

注： DATASET_ID是001 (Dataset001_XXX)
会在 nnUNet_preprocessed 文件夹中创建一个以数据集命名的新子文件夹。命令完成后，将出现一个 dataset_fingerprint.json 文件以及一个 nnUNetPlans.json 文件。还有一些子文件夹包含 UNet 配置的预处理数据。
在这里插入图片描述

5.训练命令

CUDA_VISIBLE_DEVICES=1 nnUNetv2_train 1 2d 0
CUDA_VISIBLE_DEVICES=1 nnUNetv2_train 1 2d 1
CUDA_VISIBLE_DEVICES=1 nnUNetv2_train 1 2d 2
CUDA_VISIBLE_DEVICES=1 nnUNetv2_train 1 2d 3
CUDA_VISIBLE_DEVICES=1 nnUNetv2_train 1 2d 4

‘CUDA_VISIBLE_DEVICES=1’ 表示指定GPU训练
‘2d’ 是选用2D Unet模型
‘1’ 表示任务编码，Dataset001_XXX
‘0,1,2,3,4’ 代表五折交叉验证

若运行中断，代码会50个epoch保存一下checkpoint ，若中断使用：原来指令后面加–c可以接着运行，用运行第0折时中断为例：

CUDA_VISIBLE_DEVICES=1 nnUNetv2_train 1 2d 0 --c

6. 推理结果

nnUNetv2_predict -i INPUT_FOLDER -o OUTPUT_FOLDER -d DATASET_NAME_OR_ID -c CONFIGURATION --save_probabilities
# nnUNetv2_predict -h 查看参数解析

INPUT_FOLDER：测试数据地址
OUTPUT_FOLDER：分割结果存放地址
DATASET_NAME_OR_ID：数据集ID
CONFIGURATION：使用的什么架构，2d or 3d_fullres or 3d_cascade_fullres等，这里训练用的什么就写什么
save_probabilities：将预测概率与需要大量磁盘空间的预测分段掩码一起保存。
默认情况下，推理将通过交叉验证的所有 5 个折叠作为一个整体来完成（根据5个模型得到一个结果）。我们强烈建议您使用全部 5 折。因此，在运行推理之前必须训练所有 5 个折叠。
要想每个模型分开得到结果，就加参数-f all，或者只为某一折出结果，就加参数-f 2(得到 fold 2 的结果)

以fold 2 举例：

nnUNetv2_predict -i input -o output -d 001 -c 3d_lowres -f 2

注意： 如需要在其他的数据集测试需要进行图像预处理工作，具体参考步骤 4, 5.

7. 获得最佳配置

nnUNetv2_find_best_configuration DATASET_NAME_OR_ID -c CONFIGURATIONS

DATASET_NAME_OR_ID： 数据集ID，即001—Dataset001
CONFIGURATIONS：2d
以2d为例，任务为001，则命令为：

nnUNetv2_find_best_configuration 001 -c 2d

则会在路径“~/nnUNet/DATASET/nnUNet_trained_models/Dataset001_XXX" 目录下生成：inference_information.json和inference_instructions.txt文件：
inference_information.json：保存的最佳的推理结果
inference_instructions.txt：保存的推理命令

nnUNetv2_predict -d Dataset001_XXX -i INPUT_FOLDER -o OUTPUT_FOLDER -f  0 1 2 3 4 -tr nnUNetTrainer -c 2d -p nnUNetPlans

参考资料：

  1. https://blog.csdn.net/weixin_45882172/article/details/138216705?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7ECtr-5-138216705-blog-131539779.235%5Ev43%5Epc_blog_bottom_relevance_base6&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7ECtr-5-138216705-blog-131539779.235%5Ev43%5Epc_blog_bottom_relevance_base6&utm_relevant_index=10
物物而不物于wu
关注
  • 11
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文实现yolov5实例分割（数据标注、标签转换、模型训练、模型推理）
黎国溥
04-12 4815
在yolov5的v7版本支持实例分割，本文记录一下yolov5实例分割的完全过程，包括制作自己的数据集，标签转换，然后训练模型，测试模型效果。
YOLOv10 | 手把手教你利用yolov10训练自己数据集（含环境搭建、参数解析 、数据集查找、模型训练、推理、导出）
Snu77的博客
05-26 1万+
本文内含YOLOv10网络结构图 + 各个创新模块手撕结构图 + 训练教程 + 推理教程 + 参数解析 + 环境搭建 + 数据集获取等一些有关YOLOv10的内容！目录一、前言二、整体网络结构图三、空间-通道分离下采样3.1 SCDown介绍3.2 C2fUIB介绍3.3 PSA介绍四、环境搭建五、数据集获取六、模型获取七、模型训练7.1 训练的三种方式7.1.1 方式一7.1.2 方式二（推荐）7.1.3 方式三八、模型验证/测试九、模型推理十、模型输出官方论文地址点击此处即可跳转。
一文讲清nnUNetv1在自己数据集上训练
chen_niansan的博客
08-29 924
本文只讲述nnunetv1的在2D图像的上复现步骤，对于实现细节可以阅读原文和代码！
YOLOv9 | 利用yolov9训练自己的数据集 -＞ 推理、验证（源码解读 + 手撕结构图）
Snu77的博客
02-23 3万+
本文给大家带来的是全新的SOTA模型YOLOv9的基础使用教程，需要注意的是YOLOv9发布时间为2024年2月21日，截至最近的日期也没有过去几天，从其实验结果上来看，其效果无论是精度和参数量都要大于过去的一些实时检测模型，其主要创新点是两个分别是提出了Programmable Gradient Information​​（PGI）的结构以及全新的主干Generalized ELAN（GELAN）下面本文就手把手带大家来教大家如何使用自定义数据集训练YOLOv9模型，以及如何搭建环境，获取数据集/训练。
一文多图搞定制作自己的VOC数据集+使用yolov4训练自己的数据集+封装video测试脚本（基于ubuntu）
weixin_48774599的博客
10-28 1394
一文多图搞定制作自己的VOC数据集+使用yolov4训练自己的数据集+封装video测试脚本（基于ubuntu）制作VOC数据集标注自己的数据集整理数据集路径格式训练数据集环境在Linux上编译制作yolov4需要的label以及txt修改配置文件开始训练自己的数据集预测封装video测试脚本 制作VOC数据集 目前大多数的神经网络都是采用VOC的数据格式来进行训练的，yolo系列亦是如此。 标注自己的数据集 首先用labelImg生成的是xml格式标记文件 下载 方式一：labelimg下载网站：http
一文看懂Llama2（原理&模型&训练）
热门推荐
weixin_44976692的博客
07-02 5万+
编码器（Encoder）：负责接收输入文本，将其转换为隐藏表示。编码器由多个相同的层堆叠而成，每一层包含两个子层：多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Neural Network）。解码器（Decoder）：根据编码器的输出生成目标文本。解码器同样由多个相同的层堆叠而成，但每一层包含三个子层：多头自注意力机制、编码器-解码器注意力机制（Encoder-Decoder Attention）和前馈神经网络。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 3553
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
关于人工智能（AI）的研究报告
weixin_44196785的博客
08-29 5707
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
设备上的实时自定义手势识别
bit_mike的博客
08-31 857
这篇论文的标题是《On-device Real-time Custom Hand Gesture Recognition》，主要研究了如何在移动设备上实时识别自定义手势。论文的重点在于提出了一种新的框架，使得用户可以自定义手势识别流程，并且通过预训练模型和少量的训练数据来实现高准确率的手势识别，这对于AR、VR等领域具有重要的应用价值。
您应该使用哪个矢量数据库？ 选择最适合您需求的数据库
weixin_41446370的博客
09-01 1000
在现实世界中，并非所有数据都能整齐地排列成行和列。在处理复杂的非结构化数据（如图像、视频和自然语言）时尤其如此。矢量数据库是一种以高维矢量形式存储数据的数据库，本质上是代表对象特征或特性的数字列表。每个矢量对应一个独特的实体，如一段文本、图像或视频。但为什么要使用矢量呢？奥妙就在于它能够捕捉语义和相似性。通过将数据表示为向量，我们可以对它们进行数学比较，并确定它们的相似或不相似程度。这使我们能够执行复杂的查询，如 "为我查找与此相似的图片 "或 “检索与此文本语义相关的文档”。
未戴安全帽算法检测源码样本安防监控视频分析未戴安全帽检测算法应用场景
LntonCEC的博客
08-29 3049
通过高效的图像处理和实时反馈机制，这些算法不仅提高了安全帽佩戴的检测准确性，还实现了对工地的全覆盖监控。未来，随着技术的不断进步和优化，这些系统将在更多的工地和工业场景中得到广泛应用，为工人的安全保驾护航。同时，系统会记录所有的检测数据，为后续的安全管理和分析提供了宝贵的参考资料。未戴安全帽检测算法是一种基于计算机视觉和深度学习技术的智能分析算法，旨在通过分析图像或视频流，自动识别人员是否佩戴了安全帽，并在检测到未佩戴情况时采取相应的措施（如发出警报或记录事件）。1. 提高检测准确性。
【Datawhale AI夏令营】从零上手CV竞赛Task3
ljj的博客
08-31 911
本文的Task3对Task1的baseline代码继续进行优化的过程。本次城市治理的违规行为识别的比赛到此就完成所有步骤了，以后有机会还会在此基础上继续深入研究，挑战更多可能！
基于协同过滤算法的电影推荐系统的设计与实现(论文+源码)_kaic
weixin_52720882的博客
08-30 2046
2020年张志军在《基于协同过滤算法和强化学习的电影推荐系统》文章中提出了一种全新的电影推荐框架叫做CF-DQN推荐框架,它是基于协同过滤算法的改进的强化学习的电影推荐框架,用于实时的电影推荐。
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
qq_50465499的博客
08-28 2244
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
AI写作生成器，开启你的高效率智能写作模式
最新发布
2401_85949356的博客
09-02 328
作为一名创作者，我一直在探索如何提升写作效率和质量的方法。在这个信息爆炸的时代，我们需要在短时间内创作出有价值、有吸引力的内容，以满足读者的需求和市场的竞争。而AI写作生成器的出现，为我的创作生涯带来了革命性的变化，让我开启了高效率的智能写作模式。
杭州城市开发者社区活动：《聚力AI，共创共荣》第二期线下AI论坛活动等你来！
鄙人kunzhi96，感恩遇见！
08-28 3834
由中也AI共荣社主办，COC杭州城市开发者社区等多家协办的《聚力AI，共创共荣》AI论坛活动来袭！ 活动围绕AI技术的创新应用，以及在实际应用落地的场景为主题展开，聚力AI，共同探讨。有机会与行业大咖进行面对面交流分享和学习交流，有料有趣的探索之旅，你值得拥有。
OpenCV4深度神经网络DNN实战教程
qq_44870829的博客
08-27 1394
OpenCV DNN模块传统的HAAR级联人脸检测器不可靠到DNN的高可靠各种操作，如何将TensorFlow训练出来的模型导入到，实现很好的调用OpenCVDNN模块可以解决OpenCV4不再是单纯的计算机视觉库，还有深度学习推理库OpenCV4后与神经网络扩展模块在3.3中放到了release版本中旧的教程下线有瑕疵此时已经很成熟了，通过IE加速（推理引擎，7、8倍的效率提升）OpenCV4模型数很多。
并行计算的艺术：PyTorch中torch.cuda.nccl的多GPU通信精粹
2401_85763639的博客
08-27 1020
是PyTorch提供的一个用于多GPU通信的API，它基于NCCL库，专门针对NVIDIA GPU优化，支持高效的多GPU并行操作。NCCL提供了如All-Reduce、Broadcast等集合通信原语，这些操作在多GPU训练中非常关键。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值