【nnUNet】nnUNet的出现

很高兴在雪易的CSDN遇见你 

VTK技术爱好者 QQ：870202403      公众号：VTK忠粉

---

前言

本文分享nnUNet的一些基本情况，以便更好的了解！

感谢各位小伙伴的点赞+关注，小易会继续努力分享，一起进步！

你的点赞就是我的动力(＾Ｕ＾)ノ~ＹＯ

---

1. nnUNet介绍

        nnU-Net是由德国癌症研究中心、海德堡大学以及海德堡大学医院研究人员(Fabian Isensee, Jens Petersen, Andre Klein)提出来的一个自适应任何新数据集的医学影像分割框架。

        该框架能根据给定数据集的属性自动调整模型结构、训练参数等，不需要人为干预。nnUNet包含了从数据预处理到模型训练、验证及测试的全流程自动化工具，大大简化了使用深度学习进行医学图像分割的复杂度。其中自适应网络结构调整是指nnUNet可以根据输入数据集的特点，自动选择和配置合适的网络深度、宽度等超参数，确保模型再复杂性和性能之间取得平衡。nnUNet使用基于patch级别的训练方法，通过滑窗的方式遍历整个图像进行训练；在推理结底采用类似的方法来生成整个图像的分割结果。这种方法对于处理大尺寸图像或有限显存的情况非常有效。nUNet还采用了交叉验证策略以最大程度利用有限的数据集，并结合集成学习技术来提高模型预测的稳定性和准确性。

        nnUNet使用U-Net网络结构，通过对数据的自适应处理，使得分割结果有了最好的性能。调参是很重要的。

2. nnUNet崭露头角

        nnUNet首次在医学图像分割十项全能比赛（MSD）中出现，并取得了第一名的好成绩。随后又参加了其他比赛，也取得了很好的成绩。2020年在《Nature》上发表。

MSD挑战赛规则

目前深度学习的算法在较为特定、具体的任务上能够获得较好的表现（如脑肿瘤的分割），但是并不一定能够在一些不常见的任务上（如肝脏血管分割）获得较好的泛化性能。如果有一种算法，能够在给定一定的训练数据的情况下，自适应地完成所有未曾处理过的任务的分割而不需要人工干预，对于医学辅助诊断系统是具有重大意义的。 挑战赛的规则如下：

• 每支参赛队伍只允许提供一个解决方案来处理所有的问题，并且不允许存在任何架构或超参数的人为调整
• 第一阶段中，参赛队伍只能够看到七个数据集，每天只允许提交一次，并且算法不能够人为地针对不同算法进行调参（自动调参允许）
• 第二阶段中，方法不能够再进行修改，参赛队伍需要在剩余的三个未曾见过的数据集（灰色部分）进行训练并完成预测，只允许提交一次

十项数据集

数据集介绍 本次挑战赛一共包含是个数据集，其中第一阶段为：脑、心脏、海马体、肝脏、肺部、胰腺以及前列腺的分割，而第二阶段则是包含了结肠、肝脏血管以及脾脏的分割。

参赛队伍方法介绍

挑战提交

总共有 180 支团队注册了挑战，其中 31 支队伍在第一阶段提交了有效结果。 其中，19 支团队在最终阶段提交了有效结果。 在满足进入最终阶段的所有标准的方法中，所有方法都基于卷积神经网络 (CNN)，其中 U-Net [23] 是最常用的基础架构——超过一半的团队采用 (64%)。 最常用的损失函数是 Dice 损失 (29%)，其次是交叉熵损失 (21%)。 下图提供了比赛中各队伍使用的网络架构和损失函数的完整列表。

前三名方法的描述

nnU-Net

nnU-Net 方法的关键思想是基于对训练数据集的分析，使用全自动动态适应的分割综合解决方案，独立完成本次挑战赛中的每个任务。作者认为，图像预处理、网络拓扑和后处理比网络结构更重要，而这些最重要的部分nnU-Net框架能够自动确定。nnU-Net的网络结构是基于 U-Net架构，并进行了以下修改：使用leaky ReLU、实例归一化和用跨步卷积进行下采样的。在数据增强方面，主要是用到了即仿射变换、非线性形变、强度变换（类似于伽马校正）、沿所有轴镜像和随机裁剪。在顺势函数方面，使用了结合 Dice 和交叉熵的一个组合，同时使用了 Adam 作为优化器。该方法设计了一种集成策略，通过使用四种不同的架构，利用对训练集的交叉验证自动找到特定任务的最佳组合选择。

NVDLMED

NVDLMED 方法的关键思想是使用全监督的不确定性感知（uncertainty-aware）和多视图（multi-view）协同训练策略。作者首先通过利用2D预训练模型来初始化网络，并且使用网络的三个视图通过多视图协同训练以获得更多3D信息来实现鲁棒性和泛化性。在网络结构方面，作者使用了ResNet的3D版本。在数据增强方面，主要使用到了仿射变换、几何左右翻转和随机裁剪。在损失函数方面，作者采用Dice作为损失函数，使用SGD作为优化器。网络最终的结果通过集成三个模型获得，每个模型都在不同的视图（冠状、矢状和轴向）上进行训练。

K.A.V.athlon

K.A.V.athlon 方法的关键思想是参考了AutoML的泛化策略。该过程旨在使用给定的图像数据进行自动训练和预测，无需任何参数更改或人工干预。在网络结构方面，作者使用了基于V-Net和U-Net架构的组合，并在卷积中添加了一个Squeeze-and-Excitation (SE)模块和一个残差块。 在数据增强方面主要使用到了线性变换、噪声应用、几何左右翻转、随机裁剪和模糊。采用阈值ReLU（阈值0.5）和Adam作为优化器，使用Dice作为损失函数。

nnU-Net后续的影响

在本次挑战赛后的两年中，nnU-Net总共参加了53项分割任务。该方法在53个任务中赢得了33个第一[8]，例如,获得了2020年著名的 BraTS 挑战冠军。nnU-Net的成功证实了我们的假设，即在多个任务上表现良好的方法将能够很好地推广到以前未见过的任务，并有可能胜过定制设计的解决方案。目前，nnU-Net已成为最先进的医学图像分割方法，并被其他研究人员用于多项分割挑战。例如，在2019年肾脏和肾脏肿瘤分割挑战赛的前15名算法中，有8种基于nnU-Net改进的方法。在COVID-19肺CT病变分割挑战中，前十名中有九种算法是基于nnU-Net设计的（总共98名参与者）。2020年的各种挑战赛获胜者中有90%都是在nnU-Net之上构建了解决方案。

参考链接：

【1】[2106.05735] The Medical Segmentation Decathlon (arxiv.org)

【2】https://blog.csdn.net/u014264373/article/details/116792649

【3】https://blog.csdn.net/qq_40035462/article/details/136805503

【4】医学图像分割十项全能比赛（MSD）回顾 - 知乎 (zhihu.com)

感谢各位小伙伴的点赞+关注，小易会继续努力分享，一起进步！