nnFormer 开源项目教程
nnFormer项目地址:https://gitcode.com/gh_mirrors/nn/nnFormer
项目介绍
nnFormer 是一个基于 3D Transformer 的体积医学图像分割工具。该项目通过结合交错的卷积和自注意力操作,并引入局部和全局体积自注意力机制,来学习体积表示。此外,nnFormer 使用跳跃注意力替代传统的 U-Net 架构中的连接/求和操作。实验表明,nnFormer 在三个公共数据集上显著优于之前的基于 Transformer 的模型。
项目快速启动
环境设置
首先,克隆项目仓库并设置环境:
git clone https://github.com/282857341/nnFormer.git
cd nnFormer
conda env create -f environment.yml
source activate nnFormer
pip install -e .
数据准备
下载所需的数据集并进行预处理:
nnFormer_convert_decathlon_task -i /DATASET/nnFormer_raw/nnFormer_raw_data/Task01_ACDC
nnFormer_convert_decathlon_task -i /DATASET/nnFormer_raw/nnFormer_raw_data/Task02_Synapse
nnFormer_convert_decathlon_task -i /DATASET/nnFormer_raw/nnFormer_raw_data/Task03_tumor
nnFormer_plan_and_preprocess -t 1
nnFormer_plan_and_preprocess -t 2
nnFormer_plan_and_preprocess -t 3
训练模型
使用以下命令开始训练:
nnFormer/nnformer/run/run_training.py
模型评估
训练完成后,可以使用以下脚本进行模型评估:
nnFormer/nnformer/inference_acdc.py
nnFormer/nnformer/inference_synapse.py
nnFormer/nnformer/inference_tumor.py
应用案例和最佳实践
案例一:ACDC 数据集上的分割
在 ACDC 数据集上,nnFormer 能够有效地进行心脏分割,提供高质量的分割结果。通过调整训练参数和数据预处理步骤,可以进一步优化性能。
案例二:Synapse 多器官 CT 数据集
在 Synapse 数据集上,nnFormer 展示了其在多器官分割任务上的强大能力。通过使用跳跃注意力机制,模型能够更好地捕捉器官间的复杂关系。
最佳实践
- 数据预处理:确保数据集的正确组织和预处理,以避免常见的数据加载问题。
- 超参数调整:根据具体任务调整学习率、批大小和训练轮数等超参数。
- 模型评估:定期评估模型性能,使用如 DSC 和 HD95 等指标来衡量分割质量。
典型生态项目
nnUNet
nnUNet 是一个高度灵活和强大的医学图像分割框架,nnFormer 在设计上借鉴了 nnUNet 的许多优点,并在此基础上引入了 Transformer 架构,以进一步提升分割性能。
UNETR
UNETR 是另一个基于 Transformer 的医学图像分割模型,nnFormer 在某些方面与 UNETR 有相似之处,但通过引入新的注意力机制和优化策略,nnFormer 在多个数据集上取得了更好的结果。
通过结合这些生态项目,可以进一步扩展和优化 nnFormer 的功能和性能。