项目分享 | 基于昇思MindSpore AI框架的肾脏肿瘤分割「额滴肾呐」团队思路

2022 CCF BDCI 

第十届CCF大数据与计算智能大赛

第十届CCF大数据与计算智能大赛（2022 CCF BDCI）已圆满结束，大赛官方竞赛平台DataFountain（简称DF平台）将陆续释出各赛题获奖队伍的方案思路，欢迎广大数据科学家交流讨论。

本方案为【基于昇思MindSpore AI框架的肾脏肿瘤分割】赛题的二等奖获奖方案，赛题地址：http://go.datafountain.cn/3056（戳底部“阅读原文”可直达）

获奖团队简介

团队名称：额滴肾呐

团队成员：“额滴肾呐”团队由五名成员构成，包括来自湖南大学、郑州大学、电子科技大学、西北工业大学和咪咕音乐的高校和企业成员，全部在读研究生或在职工作，主要包括医学影像分割、图像检测、工业质检等研究方向，其中王练等已有医学影像方向一篇专利实审、一篇专利初审以及一篇中科院一区论文在审，同时已获得第十八届华为杯中国研究生数学建模国家二等奖、第八届华为软件精英挑战赛武长赛区二等奖等竞赛成果。

所获奖项：二等奖

摘   要

本队参考自适应框架nnUNet，一个基于经典模型3D UNet结构在各种任务上达到STOA的神仙框架，且该方法不需要手动调参。首先对于每个训练数据采用裁剪、重采样、归一化等预处理技术，然后采用随机旋转、随机缩放、伽马校正、高斯噪声等训练增广策略，最后对3D U-Net采用多个辅助的分割输出对主干网络进行监督，用来解决深度神经网络训练梯度消失和收敛速度过慢的问题。最终，初赛提交的结果为 0.8377， 初 赛 排 名 第 二 ， 代 码 地 址 提 供 ：

https://github.com/wangwangwang978/MindSpore2022-BDCI。

关 键 词

昇思MindSpore、肾脏肿瘤分割、nnUNet

1 引言

近年来，卷积神经网络（CNNs）主导了医学图像分割的发展方向，尤其是全卷积网络（FCNs），打开了对医学图像进行语义分割来辅助病理学家诊断的大门。其典型的变体网络U-Net[1]，由一个对称的U形编码器-解码器架构和几个跳跃连接组成。在编码器部分，它使用一系列连续的卷积层和下采样层来提取深度特征，然后解码器将提取的深度特征上采样到像素级语义分割的输入分辨率，并使用跳跃连接融合不同尺度的高分辨率特征，以减轻编码器下采样操作过程中空间信息的丢失。受其优雅结构的启发，后续已经提出了U-Net++、U-Net3+网络，同时3D U-Net、UNETR、Swin UNETR也相继被应用于医学影像领域，实现令人印象深刻的分割性能[2]。

CCF 大数据与计算智能大赛——基于昇思MindSpore AI 框架的肾脏肿瘤分割，数据来源于2019 Kidney Tumor Segmentation Challenge，该赛题目标是加速可靠的肾脏和肾脏肿瘤语义分割方法的开发，该数据集[3]包含部分或根治性肾切除术的 300 名独特肾癌患者的动脉期腹部 CT，并进行了语义分割标注。其中 210 个已发布用于模型训练和验证，其余 90 个将用于客观模型评估。

然而，通过参考 KiTS19 Grand Challenge 挑战赛结果（http://results.kits-challenge.org/miccai2019/）和 Isensee F 等人的研究[4]，许多先前引入的算法修改通常可能无法优于正确调整的baseline 3D U-Net方法。因此，本队参考自适应框架nnUNet[5,6]，一个基于经典模型3D U-Net结构在各种任务上达到STOA的神仙框架。

2 方法

通过参考 昇思MindSpore 官方（https://gitee.com/mindspore/models/tree/master/research/cv/nnUNet）和 Pytorch（https://github.com/MIC-DKFZ/nnUNet）相关开源代码，我们复现基于昇思MindSpore AI框架用于KiTS 19肾脏肿瘤数据集分割的nnUNet方法。

2.1 预处理

2.1.1 Crop 裁剪

所有训练数据都会裁剪到非零值的区域。这对大多数数据集(如肝脏 CT)没有影响，但会减少颅骨剥离脑 MRI 的尺寸和计算负担。

2.1.2 Resampling 重采样

不同的扫描仪或不同的采集协议通常会导致具有异构体素间距的数据集，为了使网络能够正确地学习空间语义，所有 CT 图像都被重新采样到统一的体素间距，其中图像数据使用 B 样条插值，对应的分割掩码使用最近邻插值。参考 KiTS19 Challenge 冠军方案[4]，将所有病例的体素间距重采样为3.22×1.62×1.62。

2.1.3 Normalization 归一化

收集训练数据集出现的所有强度值，并通过剪切到这些强度值的[0.5,99.5]百分位来归一化整个数据集，然后基于所有收集到的强度值的平均值和标准差进行 zscore 归一化。

2.2 网络架构

图 1 3D U-Net 网络架构

本实验基于3D U-Net的U型网络结构构建出如图1的模型架构，可以更好地提取和融合高层语义和低层精细特征，获得上下文信息和空间位置信息。3D U-Net网络结构由编码器和解码器组成。

编码器由一个3×3×3卷积层和一个2×2×2最大池化下采样层组成模块堆叠组成。每次下采样后通道数翻倍，图像分辨率减半。而解码器由2×2×2反卷积层上采样、拼接层和一个3×3×3卷积层组成堆叠组成，最后经过1×1×1卷积输出。每次上采样后通道数减半，图像分辨率翻倍。通过跳跃连接拼接来自编码器中各层的特征，融合高层全局上下文信息和低层精确细节，同时，它可以减少由下采样操作过程中空间信息的损失。

同时在解码器1，1/2，1/4，1/8，1/16的分辨率尺寸处进行深度监督输出，都是通过1×1×1的卷积层实现调整通道到分割类别数。可辅助监督主干网络，用来解决深度神经网络训练梯度消失和收敛速度过慢的问题。

2.3 损失函数

我们的整个模型是在端到端训练的，损失函数是计算加权的 Dice 损失和交叉熵(cross entropy)损失，即

我们采用了深度监督的方式来改善梯度流，正如图 1 所示增加了辅助的分割来对主干网络进行监督，用来解决深度神经网络训练梯度消失和收敛速度过慢的问题。最终的训练总损失函为：

其中𝑤𝑖是可调的超参数，G 是 CT 的真实标签，head 是分割头部，将通道数调整为分割类别数。

3 实验

3.1 实验细节

3.1.1 实验环境

我们的实验基于昇思mindspore1.7.0 和Ascend910硬件运行。在训练期间，默认Batch Size为2，并且使用具有0.01初始学习率和0.9动量的SGD优化器来优化我们的反向传播模型，将深度监督的各个损失函数的权重𝑤设置为 0.53、0.27、0.13、0.07、0。

3.1.2 数据增广

对 于 所 有 的 训 练 ， 使 用scaling ，rotations ，brightness，contrast，gamma和Gaussian噪声等数据增强策略来增加数据多样性和对颜色扰动的鲁棒性。

3.1.3 Patch Sampling

为了提高网络训练的稳定性，nnUNet会强制Batch中超过三分之一的样本包含至少一个随机选择的前景类。

因为时间有限，我们选择50个训练batch的迭代定义为一个 epoch，总共训练600 epoch。通过五折交叉验证选择最佳模型。

3.2 实验结果

通过图2的可视化结果可以发现，nnUNet可以发挥出较好的肾脏分割效果（红色标注），但我们发现，肿瘤分割效果（绿色标注）存在少量漏检的情况，如最后一张CT显示，肾脏下方的肿瘤并未正确识别出来，这可能与训练不够充分有关。

通过表1，我们调整官方训练epoch的迭代batch数量，由于官方nnUNet的实现设定为250，综合考虑硬件资源和训练时间，我们尝试将其调整至50（这不免会产生精度的降低，但这是一个折中的选择）。

图 2 肾脏肿瘤分割可视化结果

4 结论

针对医学数据，在于理解数据，并采用适当的预处理、训练、推理策略和后处理方法，经典的网络也能达到预期的效果，而一味追求网络结构的改变并不会带来明显的突破，往往会导致过拟合。

参  考

[1] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015: 234-241.

[2] 陶 森. 基于深度学习的肾脏肿瘤分割方法研究[D].西 安 电 子 科 技 大学,2021.DOI:10.27389/d.cnki.gxadu.2021.001313.

[3] Heller N, Sathianathen N, Kalapara A, et al. The kits19 challenge data: 300 kidney tumor cases with clinical context, ct semantic segmentations, and surgical outcomes[J].arXiv preprint arXiv：1904.00445, 2019.

[4] Isensee F, Maier-Hein K H. An attempt at beating the 3D U-Net[J]. arXiv preprint arXiv:1908.02182, 2019.

[5] Isensee F, Petersen J, Kohl S A A, et al. nnu-net: Breaking the spell on successful medical image segmentation[J]. arXiv preprint arXiv:1904.08128, 2019, 1(1-8):2.

[6] Isensee F, Jäger P F, Kohl S A A, et al. Automated design of deep learning methods for biomedical image segmentation[J].arXiv preprint arXiv:1904.08128, 2019.