昇腾平台模型训练

最新推荐文章于 2024-10-25 00:50:51 发布
最新推荐文章于 2024-10-25 00:50:51 发布
阅读量433 收藏
点赞数
分类专栏： 医学人工智能 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54688533/article/details/132775370
版权
文章讲述了在昇腾平台上进行nnUNet模型训练时遇到的问题，如预处理步骤中的npy文件异常、数据转换错误以及pytorch到MindSpore的代码迁移过程中遇到的报错，提示检查npy文件大小和pickle加载设置。
摘要由CSDN通过智能技术生成

昇腾平台模型训练

export nnUNet_raw_data_base="/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_raw"
export nnUNet_preprocessed="/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_preprocessed"
export RESULTS_FOLDER="/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_trained_models"

nnUNet_convert_decathlon_task -i /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_raw/nnUNet_raw_data/Task02_BraTS2021

nnUNet_plan_and_preprocess -t 2 --verify_dataset_integrity

nnUNet_train 3d_fullres nnUNetTrainerV2 1 0 --npz
nnUNet_train 3d_fullres nnUNetTrainer 1 0 --npz

nnUNet_train 2d nnUNetTrainerV2 501 0 
# 还未安装隐藏层，记得安装

# 后台跑程序
nohup nnUNet_train 2d nnUNetTrainerV2 501 0 > log_8_24_test.txt

代码迁移

# 进入工具箱
cd /usr/local/Ascend/ascend-toolkit/latest/tools/ms_fmk_transplt/

# 执行python文件转换脚本
python ms_fmk_transplt.py -i /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/ -o /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet_ascend/ -v 1.11.0

python ms_fmk_transplt.py -i /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/ -o /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet_ascend/ -v 1.11.0

# 查看npu占用率
npu-smi info

# 结束进程
pkill -9 python

nnUNet_predict -i /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_raw/nnUNet_raw_data/Task002_BraTS2021/imagesTr/ -o /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_raw/nnUNet_raw_data/Task002_BraTS2021/inferTs/ -t 501 -m 2d -f 0

# pytorch2mindspore代码迁移
cd /usr/local/Ascend/ascend-toolkit/latest/tools/x2mindspore
./run_x2mindspore.sh -i /home/ma-user/work/nnunet_ascend/nnUNet-nnunetv1_msft/ -o /home/ma-user/work/nnunet_ascend/ -f pytorch

pytorch2.0

# 进入pytorch环境
source activate   /home/ma-user/anaconda3/envs/pytorch_1_11

# 进入工具箱
cd /usr/local/Ascend/ascend-toolkit/latest/tools/ms_fmk_transplt/

# 执行python文件转换脚本
python ms_fmk_transplt.py -i /home/ma-user/work/nnUNet-nnunetv1/ -o /home/ma-user/work/nnunet_ascend/

# 打包迁移好的文件夹
tar -zcvf /home/ma-user/work/nnunet/nnUNet-nnunetv1_msft.tar /home/ma-user/work/nnunet/nnUNet-nnunetv1_msft/

# 解压文件夹
tar -zxvf nnunet_msft.tar
tar -zxvf nnUNet-nnunetv1_ascend.tar
tar -xvf BraTS2021_Data.tar

# 运行错命令需要中值tar
pkill tar

# 规范数据格式，需要修改代码路径
python Task500_BraTS_2021.py 


# 数据集转换
nnUNet_convert_decathlon_task -i /home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_raw/nnUNet_raw_data/Task01_BraTS2021

报错

 Failed to interpret file '/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_preprocessed/Task001_BraTS2021/nnUNetData_plans_v2.1_stage0/BraTS2021_01351.npy' as a pickle
Traceback (most recent call last):
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/numpy/lib/npyio.py", line 448, in load
    return pickle.load(fid, **pickle_kwargs)
EOFError: Ran out of input

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 46, in producer
    item = next(data_loader)
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/data_loader.py", line 126, in __next__
    return self.generate_train_batch()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/dataloading/dataset_loading.py", line 245, in generate_train_batch
    case_all_data = np.load(self._data[i]['data_file'][:-4] + ".npy", self.memmap_mode, allow_pickle=True)
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/numpy/lib/npyio.py", line 451, in load
    "Failed to interpret file %s as a pickle" % repr(file)) from e
OSError: Failed to interpret file '/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnUNetFrame/DATASET/nnUNet_preprocessed/Task001_BraTS2021/nnUNetData_plans_v2.1_stage0/BraTS2021_01351.npy' as a pickle
Traceback (most recent call last):
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/bin/nnUNet_train", line 33, in <module>
    sys.exit(load_entry_point('nnunet', 'console_scripts', 'nnUNet_train')())
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/run/run_training.py", line 182, in main
    trainer.run_training()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/network_training/nnUNetTrainerV2.py", line 440, in run_training
    ret = super().run_training()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/network_training/nnUNetTrainer.py", line 318, in run_training
    super(nnUNetTrainer, self).run_training()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/network_training/network_trainer.py", line 418, in run_training
    _ = self.tr_gen.next()
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 181, in next
    return self.__next__()
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 204, in __next__
    item = self.__get_next_item()
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 189, in __get_next_item
    raise RuntimeError("One or more background workers are no longer alive. Exiting. Please check the "
RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message
THPModule_npu_shutdown success.

未修改的代码报错

Exception in background worker 4:
 Cannot load file containing pickled data when allow_pickle=False
Traceback (most recent call last):
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 46, in producer
    item = next(data_loader)
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/data_loader.py", line 126, in __next__
    return self.generate_train_batch()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/dataloading/dataset_loading.py", line 246, in generate_train_batch
    case_all_data = np.load(self._data[i]['data_file'][:-4] + ".npy", self.memmap_mode)
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/numpy/lib/npyio.py", line 445, in load
    raise ValueError("Cannot load file containing pickled data "
ValueError: Cannot load file containing pickled data when allow_pickle=False
Traceback (most recent call last):
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/bin/nnUNet_train", line 33, in <module>
    sys.exit(load_entry_point('nnunet', 'console_scripts', 'nnUNet_train')())
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/run/run_training.py", line 182, in main
    trainer.run_training()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/network_training/nnUNetTrainerV2.py", line 440, in run_training
    ret = super().run_training()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/network_training/nnUNetTrainer.py", line 318, in run_training
    super(nnUNetTrainer, self).run_training()
  File "/home/ma-user/work/nnunet/nnUNet-nnunetv1/nnunet/training/network_training/network_trainer.py", line 418, in run_training
    _ = self.tr_gen.next()
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 181, in next
    return self.__next__()
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 204, in __next__
    item = self.__get_next_item()
  File "/home/ma-user/anaconda3/envs/Pytorch-1.11.0/lib/python3.7/site-packages/batchgenerators/dataloading/multi_threaded_augmenter.py", line 189, in __get_next_item
    raise RuntimeError("One or more background workers are no longer alive. Exiting. Please check the "
RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message
THPModule_npu_shutdown success.

问题

预处理步骤出现问题，有npy任务出现大小为0的情况

macrophage-
关注
专栏目录
升腾读卡器驱动
07-16
升腾读卡器驱动是专为升腾品牌设计的一款关键软件组件，主要用于支持和优化语言信息化系统中的读卡器操作。这款驱动程序的核心作用在于提供一个桥梁，连接硬件设备（即升腾读卡器）与操作系统，使得系统能够识别并...
nnUnet报错:RuntimeError: One or more background workers are no longer alive
智慧园子的代码世界
10-20 2698
解决:问题是出在对于label的制作,由于尺寸不一,在进行转换为nii数据的时候进行了resize,但是插值方式导致label不再是二值化的[0,255],因此在resize的时候选择邻近插值,保证label的二值化即可.问题:报错:RuntimeError: One or more background workers are no longer alive或者Case 之类的错误。
ModelArts_自定义镜像_Pytorch1.5训练LeNet
HsiehVe的博客
05-16 2320
PyTorch1.5训练LeNet 文档描述 本样例使用成都人工智能计算中心（以下简称智算中心）ModelArts平台，通过PyTorch自定义镜像训练LeNet，为大家学习ModelArts提供参考。 前置条件 请检查以下条件要求是否满足，如不满足请按照备注进行相应处理。 条件 要求 备注 PyTorch镜像版本 >=21.0.3 PyTorch镜像为Ascend Hub镜像，请参考容器镜像服务指南下载并上传镜像至智算中心镜像服务 OBS Browser+ 安装 请参考对象存储服
nnUNetv2训练注意事项
2302_80687981的博客
09-15 309
2.在训练的过程中会出现RuntimeError: One or more background workers are no longer alive. Exiting. Please check the print statements above for the actual error message报错，一般是由于磁盘空间不足，扩容即可。3. 我的原始数据是png格式，在训练二维图像之前，由于这是2D图片数据，要将其转为3D数据，其实就是z轴为1的3维数据。
nnunet(二) Common Issues and their Solutions
fanre的专栏
03-31 2759
https://github.com/MIC-DKFZ/nnUNet/blob/master/documentation/common_problems_and_solutions.md Common Issues and their Solutions RuntimeError: Expected scalar type half but found float 显卡太老了，没办法使用半精度，nnUNet_predict 和 nnUNet_train.只能使用fp32位，运行nnUNet_pred.
昇腾910使用记录
qq_40721108的博客
10-12 1842
【代码】昇腾910使用记录。
【nnUNetv2训练报错解决】“RuntimeError: One or more background workers are no longer alive. Exiting. Please ”
最新发布
m0_61324002的博客
10-25 119
nnUnetv2训练报错解决方法
升腾读卡器测试工具
02-17
"升腾读卡器测试工具"是一款专门针对升腾品牌的读卡器进行功能验证和性能检测的专业软件。这款工具主要用于确保读卡器在实际使用中能够稳定、高效地读取和处理各种类型的卡片数据，例如身份证、公交卡、门禁卡等。其...
升腾c92刷bios（一）
07-25
此文件是升级升腾c92所需的升级bios文件
升腾高拍仪-PY-101驱动以及软件
01-28
升腾高拍仪-PY-101驱动以及软件
升腾c92BIOS-用于不能usb启动的情况
10-23
升腾c92BIOS，用于usb不能启动的情况 使用方法： U盘格式化为fat32，放入解压的文件 插入c92，f2进bios，选择save&exit中的倒数第二项 命令输入map，查看自己的U盘，比如盼复fs0 输入fs0: ls看下对不对，有没bios...
【nnUNet V2系列】nnUNet V2在Ubuntu下安装调试篇
奋斗之路
07-21 1448
UNET_CONFIGURATION：是一个字符串，用于标识请求的 U-Net 配置（默认值：2d、3d_fullres、3d_lowres、3d_cascade_lowres）；模版：nnUNetv2_plan_and_preprocess -d DATASET_ID --verify_dataset_integrity。模版：nnUNetv2_train DATASET_NAME_OR_ID UNET_CONFIGURATION FOLD --val --npz。
nnunetv2训练报错 ValueError: mmap length is greater than file size
hu_wei123的博客
10-13 2076
但是使用 3d_cascade_fullres 和 3d_fullres 训练。笔者在使用 nnunetv2 进行 KiTS19肾脏肿瘤分割实验的训练步骤中。使用 2d 和3d_lowres 训练都没有问题。nnunet 作者给出的解决办法，进入指定文件夹中，执行。
（十七：2020.09.10）nnUNet最全问题收录（9.10更新）
热门推荐
Jojo论文基地
09-10 2万+
来这里寻找你的答案！一、写在前面二、GITHUB ISSUEI. 使用上的问题：#318 《12GB的显存仍然不够的问题》#312 《混合精度问题（TypeError: predict_preprocessed_data_return_seg_and_softmax() got an unexpected keyword argument 'mixed_precision'）》#311 《训练时找不到预处理文件夹》#310 《"Segmentation fault (core dumped)"》#309《"
nnUNetv2使用自己数据集出现的问题
weixin_45919999的博客
07-03 1993
处理数据之后，就可以对模型进行训练，训练指令如下。DATASET_NAME_OR_ID就是我们的数据集id(501,502)，UNET_CONFIGURATION FOLD就是使用nnunetv2提供的集中Unet配置进行训练，分别有2d、3d_fullres、3d_lowres、 3d_cascade_lowres。也就是说每个nii.gz的文件命名必须和训练集的文件命名一致，同时文件名字的最后需要有一个4位数的标识符，表示是哪一个模态的，和dataset.json中的channel_name设置一致。
nnUNetv2代码详解与调试
weixin_48111108的博客
07-17 1329
nnUNetv2代码复现
基于华为atlas的unet分割模型探索
年轻即出发，
03-05 761
使用工具Netron查看模型结构，确定模型输入节点名称为input.1，输出节点名称为/outc/conv/Conv。华为atlas的参考案例细节不到位，步骤缺失较多，摸索困难，代码写法较差，信创化道路任重而道远。模型输入为572*572*3，输出为572*572*2。分割目标分别为，0：背景，1：汽车。Unet模型使用官方基于kaggle。
U-Mamba复现中遇到的问题及解决方法（完结）
weixin_43589205的博客
04-01 3637
U-Mamba复现中遇到的问题及解决方法
华为升腾平台yolov5案例
08-16
华为升腾平台支持运行 YOLOv5 目标检测模型，以下是一个简单的 YOLOv5 案例代码示例： ```python import numpy as np from PIL import Image from atlasutil import ai from atlasutil import camera # 加载模型 model = ai.Model("yolov5s.om") # 打开摄像头 camera.open() while True: # 获取摄像头采集的图像 image = camera.capture() # 图像预处理 image = Image.fromarray(np.uint8(image)) image = image.resize((640, 640)) image_data = np.array(image) # 图像推理 output = model.infer([image_data]) # 解析推理结果 output = output[0] boxes, confidences, class_ids = output['boxes'], output['confidences'], output['class_ids'] # 在图像上绘制检测框 for i in range(len(boxes)): box = boxes[i] confidence = confidences[i] class_id = class_ids[i] if confidence > 0.5: x, y, w, h = box left, top, right, bottom = int(x - w / 2), int(y - h / 2), int(x + w / 2), int(y + h / 2) cv2.rectangle(image_data, (left, top), (right, bottom), (0, 255, 0), 2) cv2.putText(image_data, f"{class_id}", (left, top - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2) # 显示图像 cv2.imshow('Object Detection', image_data) if cv2.waitKey(1) & 0xFF == ord('q'): break # 关闭摄像头 camera.close() ``` 这段代码使用华为升腾平台的 YOLOv5 模型进行实时目标检测，并在图像上绘制检测框和类别标签。请确保已安装好华为升腾平台的开发套件和相关依赖库，并参考华为开发者社区的文档进行模型部署和推理。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值