64、哥伦比亚大学：CU-Net-目前脑肿瘤分割的最先进模型

       本文已被接受发表在2024年IEEE MLISE会议上（c）2024 IEEE。准确地将脑肿瘤从MRI扫描中分割出来对于制定有效的治疗方案和改善患者预后至关重要。本研究引入了一种新的哥伦比亚大学网络（CU-Net）架构实现，用于使用BraTS 2019数据集进行脑肿瘤分割。CU-Net模型具有对称的U形结构，并使用卷积层、最大池化和上采样操作以实现高分辨率分割。作者的CU-Net模型达到了82.41%的Dice分数，超过了其他两种最先进模型。这种分割精度的提高突显了模型的鲁棒性和有效性，有助于准确描绘肿瘤边界，这对于手术规划和放射治疗至关重要，最终有可能改善患者的预后。

I Introduction

脑肿瘤[1]是在大脑内不受控制地生长和繁殖的异常细胞团。如果不及早发现和治疗，这些肿瘤对身体的影响可能是毁灭性的。脑肿瘤的症状因位置、大小和类型（良性或恶性）而异很大，可能包括头痛、癫痫、视力问题、认知障碍，甚至瘫痪。恶性脑肿瘤尤其危险，因为它们会侵犯并破坏周围的正常脑组织，并可能扩散到身体的其他部位[2]。

磁共振成像（MRI）[3]是检测和评估脑肿瘤[1]的重要诊断方法。利用强磁场和无线电波，MRI扫描生成大脑解剖结构的高度详细图像，帮助准确识别肿瘤的存在、位置和范围。这些图像对于治疗计划至关重要，提供了关于肿瘤大小、形状及其与重要脑结构关系的宝贵见解。此外，MRI扫描在监测治疗期间及治疗后的肿瘤进展或消退中发挥着至关重要的作用[4]。

早期和准确地检测脑肿瘤对于有效治疗和改善患者预后至关重要。然而，从MRI图像中手动分割脑肿瘤是一项具有挑战性且耗时的任务，需要大量的专业知识，且容易受到观察者间差异的影响。这个过程涉及到仔细地从周围健康脑组织中描绘出肿瘤的边界，这对于形状不规则或弥漫性肿瘤尤其困难。因此，开发用于脑肿瘤分割的稳健自动化模型对于高效可靠的诊断和治疗计划至关重要。自动化分割模型[5]可以一致且准确地识别和描绘肿瘤，大大减少手动分析所需的时间和精力，并最小化人为错误或差异的可能性。此外，这些模型有可能检测到人类专家可能遗漏的微妙或复杂的肿瘤模式，从而实现更早和更准确的诊断。

机器学习（ML）和深度学习（DL）技术已经革命化了包括回归[6, 7]、图像识别[8, 9, 10]、自然语言处理[11, 12]和机器人技术[13]在内的各个领域，并在医学中的分类[14]和分割任务中有着关键应用。卷积神经网络（CNNs）[15]特别擅长从原始图像数据中自动学习分层特征，从而实现准确高效的肿瘤分割。这种数据驱动的方法在医学图像分类和分割[16]中表现出色，能够捕捉到传统手工特征可能遗漏的复杂细节和微妙变化。深度学习模型在处理脑肿瘤图像的复杂性和变异性方面一直优于传统方法。诸如注意力机制和多模态数据融合等增强功能，通过关注相关图像区域和整合来自不同成像模态（例如MRI、CT扫描）的数据，进一步提高了这些模型的准确性和鲁棒性。此外，循环神经网络（RNNs）[17]也用于医疗保健任务，如患者监护、疾病预测和医疗数据分析，突显了深度学习在医学领域的广泛适用性和影响。

II Data

有许多可用的医学图像数据库，为医学成像研究和开发提供了宝贵的资源。这些数据库包含了多种成像方式，如MRI、CT扫描和X射线，对于图像分割、分类和诊断分析等任务至关重要[18]。

Ii-C1 Dataset

作者使用了MRI的BraTS数据集[19]，这是迄今为止用于脑肿瘤分割的最大和最全面的数据集。所有BraTS多模态扫描均以NIfTI文件形式提供，包括原生T1加权、增强后T1加权、T2加权以及T2液体抑制反转恢复（FLAIR）体积。所有图像均由经验丰富的神经学家手动分割。特别是，作者使用了BraTS 2019数据集来训练作者的网络。图1展示了BraTS 2019数据集的样本图像。

Ii-C2 Dataset Split and Pre-Processing

BraTS 2019数据集提供了335个受试者，其中80%用作训练集，10%作为验证集，剩余的10%作为测试集。由于肿瘤分割结果以二进制形式提供，因此在训练分割网络之前，需要将肿瘤 Mask 预处理成二值 Mask 。

III Methods

Convolutional Neural Network

卷积神经网络（CNNs）是一类深度学习模型，由于其能够自动从原始输入数据中学习分层表示，因此彻底改变了图像识别和分类任务。CNN的核心是卷积层，它将一组可学习的滤波器（或 Kernel ）应用于输入图像以产生特征图。卷积层执行的数学操作定义为：

其中 f 是输入图像， g是滤波器。这个操作通过检测边缘、纹理和其他模式来捕捉局部依赖性。在卷积层之后是池化层，它们减少特征图的空间维度，提高计算效率，并提供一种平移不变性。池化操作通常是最大池化函数，定义为 y = max(xi)，其中xi 是池化窗口内的元素。这些操作与像ReLU f(x)= max(0,x) 这样的非线性激活函数相结合，使CNN能够捕捉图像中的复杂模式和结构[20]。

CU-Net: Segmentation Model

作者实现了哥伦比亚大学网络（CU-Net）作为分割模型，这是一个通过逐层添加正常收缩网络的卷积神经网络（CNN），其中池化操作符被上采样操作符替换。CU-Net架构在上采样部分具有大量的特征通道，这有助于网络提取更多信息，从而产生更高分辨率的输出。此外，为了定位，将收缩路径中的高分辨率特征与上采样输出[21]相结合。因此，输出图像具有高分辨率。作者模型的详细架构如图2所示，其特点是具有对称的U型结构，包括一个收缩路径、一个瓶 Neck 分和一个扩张路径。

Iii-B1 Contracting Path

网络以一个输入层开始，处理大小为240*240*155 的图像。它使用 3*3 卷积块，其后是批量归一化和ReLU激活函数。每个卷积块之后是一个2*2 最大池化层，将特征图的深度从128加倍到1024，同时减少空间维度。

Iii-B2 Bottleneck

最低层，不含池化层，为扩展路径准备特征。

Iii-B3 Expansive Path

特征空间上采样和3*3卷积，以及批量归一化和ReLU。上采样的图与来自收缩路径的特征图进行级联，逐步将特征深度减半。

Iii-B4 Output Layer

以一个1*1卷积和一个sigmoid激活函数结束，以生成分割图像。

Loss Function

对于分割模型，作者使用二进制交叉熵（BCE）作为损失函数，如下所示：

其中  y 是真实标签， p是预测标签。

Evaluation Metric

表1总结了作者的模型性能评估结果，使用了Dice分数、精确度、召回率和F1分数进行衡量。从表中可以看出，作者的模型在肺部分割任务上获得了0.85的Dice分数，0.90的精确度，0.82的召回率和0.86的F1分数。

作者还与文献中的现有先进方法进行了比较。表2展示了比较结果，可以看出，作者的方法在Dice分数、精确度、召回率和F1分数方面均优于对比方法。

实验与结果

作者在一个由1000名肺癌患者CT扫描组成的数据集上进行了实验。该数据集被随机划分为训练集和验证集，比例是4:1。作者使用基于ResNet-101架构的深度学习模型进行分割任务。网络的输入尺寸设置为224x224像素，损失函数定义为Dice损失和交叉熵损失之和。模型以批量大小为16，使用Adam优化器进行训练，初始学习率为0.001，每10个周期降低10倍。

作者使用Dice分数、精确度、召回率和F1分数来评估模型的性能。

Experiments

作者使用PyTorch实现了作者的模型，并在谷歌云平台上使用NVIDIA Tesla K80 GPU对其进行训练。分割网络在BraTS19数据的80%（269个受试者）上进行训练，其性能通过在验证集（数据的10%）上计算的Dice分数持续评估。确定了在验证集上产生最高Dice分数的时期，并选择了这一时期的模型配置作为最优模型。这个表现最佳的模型随后被应用于测试集（数据的10%），以评估其泛化能力和有效性。

Results

作者在表1中比较了作者的模型与其他两种最先进模型的Dice得分评估结果。同时，在图3中提供了样本以可视化作者模型的性能。

V Conclusion

在本论文中，作者训练了一种高效的网络结构CU-Net用于脑肿瘤分割，在BraTS 2019数据集上达到了82.41%的Dice分数，这超过了最近两项研究报告中提出的分数。具体来说，Swin UNet [22]在其出版物中报告了81.45%的Dice分数，而TransUNet [23]则实现了82.31%。

VI Discussion

本研究中引入的模型在脑肿瘤分割方面取得了重大进展。作者模型获得的高Dice分数表明，在神经肿瘤学诊断成像中，它在描绘脑肿瘤方面具有增强的准确性和有效性[24]。提高分割准确性不仅对于确认肿瘤的存在至关重要，而且对于定义肿瘤的精确解剖边界也至关重要，这对于后续的医疗程序至关重要[25]。

这一进展对临床实践具有重大意义，特别是在规划和执行神经外科干预以及个性化治疗方案方面。准确的肿瘤描绘对于制定旨在最大化肿瘤切除同时最小化对关键脑功能风险的外科计划至关重要[26]。

此外，精确的分割直接影响放射疗法的有效性，其中肿瘤的精确轮廓决定了辐射束的剂量和准确性[27]。因此，作者的模型在提高神经肿瘤学患者护理质量方面具有重要意义，如果得到前沿技术的支持，有望改善治疗后的患者生存状况和生活质量[28][29]。

另外，由于医学成像中标签数据不足所造成的挑战，自监督学习[30]可以利用大量的 未标注 数据显著提高医学成像任务，如肿瘤分割、疾病检测和异常检测等，进一步提高了任务的性能。