一种基于Transformer的深度学习方法，结合临床全脑 MRI 图像将脑转移瘤追溯到原发的器官部位

本研究开发了一种深度学习方法，使用全脑 MRI 扫描将脑转移瘤定位为原发器官部位。对两种对比增强的MRI进行预处理，并将其输入到我们提出的深度学习工作流程中，用于肿瘤分割、模态转移和原发部位分类，分为五类之一，即肺、黑色素瘤、乳腺、肾等。十折交叉验证显示总体 AUC 为 0.878。进一步的改进可能会提供一种工具来加快识别原发器官部位以治疗脑转移性疾病。

脑转移病的治疗决策取决于对原发器官部位的了解，目前通过活检和组织病理学进行确认。在这里，我们利用全脑磁共振成像（MRI）数据开发了一种用于精确无创数字组织学的深度学习方法。对比增强的T1加权和快速扰相梯度回波序列得到的脑MRI图像（n=1582）进行预处理，并输入到所提出的深度学习工作站中，用于肿瘤分割、模态转移和类别识别。十折交叉验证产生了0.878（95%置信区间[CI]:0.873，0.883）的受试者工作特性曲线下的总面积。这些数据表明，全脑成像特征具有足够的辨别力，能够准确诊断恶性肿瘤的原发器官部位。我们的端到端深度放射学方法在从全脑MRI图像中分类转移性肿瘤类型方面具有巨大潜力。进一步完善可能会提供一种宝贵的临床工具，以加快原发性癌症部位的识别，从而实现精确治疗并改善预后。本文发表在Patterns杂志。

引言

美国每年约有180000名患者被诊断为脑转移瘤。这些转移源于全身器官部位的原发性肿瘤，其中67%–80%来自肺、乳腺或黑色素瘤，人们越来越认识到，不同组织的脑转移瘤具有相应的不同生物学行为和治疗反应。例如，多年来人们都知道黑色素瘤脑转移更可能是出血性的。癌症脑转移的低氧特征可以通过医学图像进行评估。一项研究发现，乳腺癌脑转移的炎症可以通过磁共振成像（MRI）检测出来。此外，乳腺癌、肺癌和黑色素瘤原发灶更有可能产生多发性脑转移，而胃肠道肿瘤更可能植入后颅窝。这种模态在MRI检查中很容易看到，在以前研究中也有过记录。然而，在脑转移瘤的定性成像评估中，应用于个体患者的总体敏感性和特异性不足以对原发性潜在恶性肿瘤进行明确诊断/分类。也就是说，不同组织类型的脑转移瘤之间也可能存在生物学差异，这些差异尚未被发现，医生通过标准的定性方法无法发现。这目前反映在高粒度定量医学成像数据中，我们的总体假设是，脑转移瘤的影像学特征具有足够的鉴别能力，并且可以在初步评估时通过影像学检测出来，从而准确诊断原发器官部位的癌症。

在大约10%的病例中，脑转移疾病是癌症的最初表现，而治疗决策取决于对原发器官部位/组织学类型的了解。在这些情况下，肿瘤学检查（包括身体其余部分的横截面成像）可以识别最可能的原发器官部位。如果确定原发性恶性肿瘤部位可进行活检，则通常直接从该颅外部位获取组织以确认组织学诊断。如果没有适合活检的颅外部位，并且脑转移性疾病位于有利位置，那么侵入性颅内组织取样可能是确定诊断所必需的。通常，针对脑转移疾病推荐的特定治疗取决于了解恶性肿瘤的原发器官部位，这强调了开发一种非侵入性方法的重要性和迫切需要，该方法可以最终确定脑转移疾病的原发器官位置，以促进快速管理和优化治疗决策。

作为一个新兴领域，基于深度学习的影像组学使用基于深度学习算法将标准医学图像转换为高维定量特征，这导致了能够识别医学成像数据中可能不容易被医生（如放射科医生）感知的特征的新工具。影像组学方法定量图像分析，加快癌症的临床诊断。迄今为止，使用诊断成像进行神经肿瘤学评估的医生，如放射科医生和肿瘤学家，通常无法仅从脑转移的图像确定癌症的原发器官部位。然而，通过利用医学成像数据中的模态或特征，可以使用影像组学来识别脑转移的原发器官部位。以前，影像组学使用专用算法来提取手工特征。因此，只有有限数量的低阶特征可用。尽管这种问题可以通过像小波变换这样的图像变换来缓解，但提取的特征的范围仍然有限。深度学习作为人工智能的主流，是一种数据驱动的方法，有望解决这一挑战。深度学习在医学任务中取得了巨大成功，如脑肿瘤分割、16种医学成像模态转换、和脑转移瘤表征和结果预测。最近，深度学习已广泛应用于放射医学的许多任务，如癌症预测和癌症放疗失败率预测。近年来，深度学习在基于全玻片组织学图像的原发性或转移性肿瘤识别和转移性肿瘤分类方面也取得了巨大成功。

我们假设，基于深度学习的影像组学或者说深度影像组学可以通过临床MR图像识别与患者脑转移疾病相关的原发器官部位癌症。此外，我们假设，在需要最少人工干预/特征提取的自动化工作流程中，可以通过最少的图像预处理来加快分类过程。在这里，我们报告了一种基于三维（3D）结构MRI对比增强T1（T1-CE）和/或快速扰相梯度回波（FSPGR）图像的脑转移原发器官部位分类的深度影像组学方法。

患者人口统计分析

使用了两个大型数据集，共有1399名患者（62.77±11.86岁，63.57%男性）。具体而言，如图1和表1所示，对于具有肿瘤轮廓的数据集，有148名患者（61.77±11.15岁；56.85%男性），而对于没有肿瘤轮廓的数据库，有1251名患者（62.85±11.91岁；59.07%男性）。具体而言，如表2所示，“肺”类有801名患者（63.21±11.06岁；54.93%男性），“乳房”类有106名患者（62.23±12.04岁），“黑色素瘤”类有313名患者（6.280±13.81岁；72.20%男性），“其他”类别有97名患者（59.81±12.25岁；82.47%男性）。在具有肿瘤轮廓的数据集中，54.11%的患者/扫描有1-3个病灶（平均值±SD=4.79±5.27）。

（A） 数据预处理流程图。

（B） 用于脑转移瘤分类的基于深度学习的影像组学的流程图。

表1，本研究中使用的1399名患者的年龄和性别统计

为了进行深度影像组学分析，有必要标记感兴趣区并提取其特征。在这项研究中，我们采用了一个基于Transformer 的U形网络，如图2所示。分割网络对脑转移瘤进行分割，并生成逐体素的肿瘤概率图，以指导所提出的分类网络关注显著区域。所提出的网络分别在T1-CE和FSPGR数据集上进行训练。我们将我们的结果与一些流行的医学分割网络（包括U-Net、 Attention U-Net（AttU-Net）、和U-Net Plus Plus（U-Net++））的结果进行了比较，来定性和定量评估肿瘤分割。

图2，本研究提出的脑肿瘤分割网络。

（A） 所提出的分段网络由四个部分组成：下采样分支、上采样分支、Transformer和U-Net。

（B和C）分别为下采样块和上采样块的结构。

（D） Transformer的结构

图3将我们提出的方法与其他脑肿瘤分割网络进行了比较。从图3中，在标记和未标记的数据上，我们提出的方法显示了最佳结果，因为分割的区域可以准确地覆盖所有肿瘤区域，而其他方法只能覆盖部分肿瘤区域。可以发现，我们提出的网络对分割小的（例如，黄色箭头所指的肿瘤）和大转移肿瘤（例如，红色箭头所指肿瘤）具有同样好地能力。有趣的是，在某些情况下，分割结果可能优于人类标记的结果，如绿色箭头所示。

表3显示了不同方法的分割结果的定量比较。可以发现，在T1 CE和FSPGR数据集上，使用所提出的方法获得的结果具有比其他方法更高的Dice分数，表明了所提出的分割网络的有效性。

图3，肿瘤分割结果比较

（A） 测试数据集上的分割结果。（B） 在没有肿瘤轮廓的数据集上分割结果。在每个子图中，两个顶行显示T1-CE结果，而两个底行显示FSPGR结果。

表3，所提出的分割网络与三个已有的脑肿瘤分割网络之间的定量比较（平均值±SD）

模态转换

在这项研究中，我们使用T1-CE和FSPGR图像进行肿瘤分类，不同特征互补可以增强影像组学分析，如图4所示。我们将我们的模态转换结果与另一种称为风格转移的方法进行了比较。模态转移结果如图5和表4所示。发现基于cycleGAN产生模态传递的结果具有比使用风格传递方法的结果有更高的互信息分数，表明cycleGAN可以产生与目标模态更相似的结果。我们仅使用T1 CE或FSPGR图像对每个患者进行cycleGAN测试，以生成互补的模态图像，因此我们只需将T1 CE和FSPGR的图像作为分类网络的输入图像。

图4，用于模态转换的循环GAN模型示意图有两个发生器和两个鉴别器，其中发生器1将T1 CE转换为FSPGR，发生器2从T1-CE生成FSPGR。在训练过程中，使用互信息从同一患者的相应模态扫描中找到最相似的特征，以进行弱监督学习。

图5，原始T1-CE和FSPGR图像及其模态转换结果的比较

第一列显示原始T1-CE图像；第二列和第三列分别给出来自cycleGAN和风格转移方法的模态转换后的FSPGR图像；第四列显示原始FSPGR图像；第五列和第六列分别是来自cycleGAN和风格转移方法的模态转换后的T1 CE图像。前两行显示了原始数据集示例，后两行显示训练数据集示例。

表4，模态转换结果的互信息评分

五种原发部位分类

使用所提出的肿瘤分割网络和cycleGAN，我们获得了MRI扫描的一组数据：T1- CE或FSPGR中的原始MRI扫描数据、其相应的互补模态数据和体素肿瘤概率图。我们将这些图像和概率图输入分类网络，以预测脑转移的原发器官部位，如图6所示。表5显示了我们十倍交叉验证后的分类结果。曲线下总面积（AUC）为0.878，95%置信区间为0.873和0.883；肺分类AUC为0.889，95%置信区间为0.883和0.895；乳房类别AUC为0.873，95%置信区间为0.860和0.886；黑色素瘤类AUC为0.852，95%置信区间为0.842和0.862；肾类AUC为0.830，95%置信区间为0.809和0.851；其他AUC为0.822，95%置信区间为0.805和0.839。图7B显示了每个转移类别分类和总体分类的受试者工作特性（ROC）曲线；可以发现，对于每个类别的分类有较好的特异性和敏感性评分。图7C显示了前k个分类结果。与前1名的准确度相比，前2名和前3名的结果在每个类别中的准确度都更高。Top-3获得了最高的预测精度，不同类别之间的差异小于Top1和Top2。

图6，脑转移瘤转移分类网络（A）分类网络的总体结构。（B） 注意力机制模块的结构。

表5：五类分类中十倍交叉验证结果的定量比较

消融研究

为了研究添加肿瘤分割概率图对分类网络性能的贡献，我们进行了一项消融研究，而不涉及肿瘤分割概率图。从图7D和表6中可以观察到，添加肿瘤分割概率图可以提高所提出网络的性能，总体AUC增加2.3%。同时，仅使用T1-CE或FSPGR图像进行了另一项消融研究，用于肿瘤分类。基于我们的结果，去除T1-CE或FSPGR图像并且仅使用单模态图像进行分类降低了所提出的网络的性能。仅使用T1 CE或FSPGR图像将使总体AUC评分分别降低3.8%和3.1%。

图7，五类原发病灶的分类结果

（A） 基于十倍交叉验证的五类分类混淆矩阵。

（B） 五类分类的ROC曲线比较。

（C）肿瘤原发病灶分类的Top-k模型精度。误差条表示标准偏差。

（D） 消融研究中ROC曲线的比较（“with prob”显示总体结果，“without prob”显示不添加概率图的结果，“仅FSPGR”显示仅使用FSPGR图像进行分类的结果，而“仅T1-CE”显示仅采用T1-CE图像进行分类）。

表6，五类原发病灶分类消融研究结果的定量比较

二分类

除了五类分类，我们还进行了一系列关于二元分类的实验。由于肾脏和其他类别的病例数量有限，我们将这两个类别合并在一起，并将其标记为新的其他类别。然后，将四个不同类别的数据用于二进制分类。除了在训练过程中改变加权二叉熵中的权重和采样策略之外，我们在与五类分类实验相同的设置下分别训练了多个分类网络。在训练期间，从每个时期的类别中随机选择60%的样本。

我们总结了表7中的所有二进制分类结果。与五类分类结果相比，所有二元分类结果的AUC分数更高，表明分类性能更好。在所有二元分类结果中，所提出的网络在区分肺和乳腺类别时表现最好，AUC得分为0.959。除了所提出的五分类方法之外，值得注意的是，二进制分类也可以作为临床肿瘤类型诊断过程中的辅助方法。与多分类相比，二进制分类有两个优点：更高的分类精度和更容易实现。

表7，二元分类十倍交叉验证AUC结果的定量比较

方法学

图1A显示了我们的研究设计概况。临床上收集了两个大型数据集，分别由1399名患者和1582例病例组成。具有肿瘤轮廓的图像用于训练和验证我们的肿瘤分割网络。经过训练后，肿瘤分割网络生成肿瘤体素概率图。使用同时具有T1-CE和FSPGR图像的患者在弱监督学习模式下训练循环GAN40，以在T1-CE与FSPGR之间转换图像模态。在训练之后，可以使用T1 CE或FSPGR图像来产生互补模态中的图像（即，相应的FSPGR或T1 CE图像）。最后，我们使用了所有病例，包括每个病例对应的模态转移图像和对应的肿瘤概率图在分类网络中，用于推断脑转移疾病的原发器官部位。一旦经过训练，整个工作流程就可以以端到端的方式实现。

数据收集和预处理

对于这项IRB批准的单部位回顾性患者研究，我们的初始数据集包括1862个常规治疗计划MRI扫描，这些扫描来自2000年至2021在威克森林医学院检查的1650名患者，他们被推荐接受伽玛刀放疗。这些患者的子集被转诊接受伽玛刀放疗，并进行了“放疗计划”的MRI扫描。另一组未接受伽玛刀放疗的颅内转移性疾病患者进行了无轮廓的“诊断性”MRI扫描。本研究使用立体定向头架中患者的结构MR图像，作为以下扫描仪的临床伽玛刀常规放疗计划的一部分：1.5T General Electric SIGNA Excite（GE Healthcare）、1.5T General Electrical SIGNA HDxt（GE Healthcare）、3.0T General ElectricSIGNA Excite（GE Healthcar）和3.0T Siemens Skyra（西门子医疗解决方案）。值得注意的是，只有127名MRI诊断患者同时具有T1-CE和梯度图像。梯度序列不是放疗计划MRI的一部分，因此这些患者没有T1 CE和梯度图像。

图像标签和预处理

从电子病历中提取MR图像的临床标签，包括组织活检证实的病理诊断。所有图像总共有77个诊断类别。除了肺癌、黑素瘤、肾癌和乳腺癌，所有其他诊断标签都被归入“其他”类别。换句话说，这个标签策略定义了五个类。所有与活检证实的诊断相关的图像都包括在网络训练中。

我们的图像分两批收集：一批图像具有人类标记的脑转移瘤轮廓，另一批图像未经处理且与肿瘤轮廓无关。具有肿瘤轮廓的原始数据集包含148名患者（男性：83名，女性：65名）和360例病例（T1-CE:171，FSPGR:189）。在每种情况下，由经验丰富的放射科医生手动标记肿瘤轮廓。图像以Dicom格式存储，肿瘤轮廓存储在RTSTRUCT文件中。在轮廓与肿瘤之间的配准后，77个病例由于信号衰减，运动模糊和其他伪影被排除。在大多数失败病例中，主要原因是放疗后转移灶消退或减少。数据集中有1608名患者（男性：981名，女性：627名）没有肿瘤轮廓。每个患者只扫描一次。在这个数据集中，182例病例首先被排除，因为他们既不是T1-CE也不是FSPGR。然后，又有221个病例被移除，因为它们无法覆盖整个大脑或存在严重的图像质量问题。排除不合适的病例后，本研究选择了1399名患者中的1582例。其中284例（T1 CE:138，FSPGR:146）有肿瘤标记。对于每种情况，我们统一了体素分辨率和归一化强度分布。为了统一体素分辨率，我们重新缩放了每一次全脑MRI扫描，将体素分辨率统一为0.64×0.64×2.4 mm。

训练和验证

对于肿瘤分割，我们只使用具有肿瘤轮廓的图像进行网络训练和验证。我们随机选择120例T1-CE图像和125例FSPGR图像进行训练。另外18例T1-CE病例和20例FSPGR病例用于验证。具体而言，所提出的肿瘤分割网络分别在T1-CE和FSPGR图像上进行训练。训练后，网络处理所有没有轮廓标签的病例，以使用网络最后一层的Softmax函数生成相应的肿瘤分割概率图。

为了在T1-CE和FSPGR图像之间进行模态转换，我们使用了来自127名患者的254例病例（T1 CE:127，FSPGR:127）来训练和验证模态转换网络。从115名患者中随机选择230名患者进行训练，其余12名患者中的24名患者进行验证。一旦经过训练，本研究中使用的所有病例都由网络模型处理，以生成模态转换结果。

对于肿瘤分类，我们对本研究中涉及训练阶段的所有病例使用了十倍交叉验证方法。本文所示的分类结果基于10次交叉验证运行的平均数据。

肿瘤分割网络设计

分割技术旨在从全脑MRI扫描中提取肿瘤，以指导网络分类，从而可以更加关注肿瘤及其周围区域，获得更好的分类结果。在这项研究中，我们通过结合用于局部特征提取的卷积层和用于全局感知的Transformer模型，提出了一种用于脑肿瘤检测的高级网络。拟建网络采用U-Net结构。如许多其他深度学习任务所示，采用U-Net需要合理的计算成本并提供合理的网络性能。所提出的分割网络的结构如图2A所示。

所提出的网络包括四个组件：下采样卷积分支、基于Transformer的瓶颈层（Neck）、上采样卷积分支，以及跳过下采样分支和上采样分支之间的连接。下采样分支包含10个下采样块。在每个下采样块中，有两个臂：第一个臂具有三个卷积层，然后是组归一化和校正线性单元（ReLU）激活函数。下采样发生在第二卷积层，步长为2。第二个臂只有一个卷积层，步幅为2。最终将两臂的特征图添加到一起。在上采样分支中，有五个上采样块。每个上采样块包含两个卷积层，然后是组归一化和ReLU激活。然后添加一个上采样层，以将特征图扩展两倍。每对下采样和上采样块之间都有连接。瓶颈部由12个相同的Transformer组成。在将特征图反馈到第一Transformer编码器之前，将特征图矢量化为一系列1D标记。卷积层和Transformer的结合确保了网络将利用局部和全局信息。

根据Isensee等人41的论文，所提出的分割网络的目标函数结合了交叉熵和Dice损失：

这里S所提出的分割网络的参数

模态转换网络设计

对于本研究中使用的数据，只有少数患者（1399人中的127人）同时进行了T1-CE和FSPGR扫描，大多数患者仅进行了T1-CT或FSPGR检查。为了使用这两种类型的图像进行分类，我们开发了一种方法，通过将现有模态扫描转换为缺失模态扫描来生成互补图像，如图4所示。CycleGAN40在图像风格转换和其他任务方面取得了巨大成功。它在训练过程中使用生成对抗机制，让生成器了解目标数据的真实分布。同时，采用循环一致性损失避免了对抗性生成图像中的矛盾，并且可以以弱监督的方式训练生成的循环GAN网络。在本研究中，我们使用cycleGAN进行模态转移。如图3A所示，所提出的循环GAN具有两个相同的发生器和两个相同的鉴别器。生成器1被设计为将T1-CE图像转换为FSPGR对应模态，而生成器2被期望从FSPGR对应图像生成T1-CE图像。鉴别器1和2判断生成的T1-CE或FSPGR图像是否为真。发生器和鉴别器的结构与我们最近的工作中描述的相同。

在训练过程中，使用互信息从同一患者的相应模态扫描中找到最相似的特征，从而可以以弱监督的方式训练网络。我们在训练过程中使用最小平方对抗损失。两种网络的目标函数如下：

肿瘤分类网络的设计

如图6所示，所提出的肿瘤分类网络由两个相同的特征提取分支组成，其中概率图通过3D最大池化逐渐向下采样，并最终与来自两个分支的特征连接。有一个注意力模块，用于组合从T1-CE和FSPGR分支提取的特征。然后，使用两个完全连接的层来生成最终的分类结果。每个特征提取分支通过3D卷积层和五个后续下采样块完成。下采样块共享与分割网络中相同的结构。唯一的区别在于2D卷积层被升级为3D卷积层。注意力模块由通道注意力分支和空间注意力分支组成。在通道注意力分支中，首先通过3D全局平均将特征图转换为向量，然后两个完全连接的层计算每个通道的权重，最后将特征图按通道乘以通道权重。在空间注意力分支中，首先对特征图进行平均，通过S形激活函数确定每个体素中的权重，最后将特征图按体素乘以权重。将通道注意力和空间注意力分支的输出按权重添加以形成新的特征图。

如表2所示，本研究中用于分类的数据高度不平衡，肺类别的病例远远多于所有其他类别，这也符合众所周知的事实，即肺癌是所有脑转移病例的主要原因。为了克服这一不平衡数据问题，在训练过程中，我们使用加权交叉熵作为所提出的分类网络的目标函数。此外，我们在训练期间采用了过抽样和欠抽样方法。在每个时期，从肺部类别中随机选择35%数据输入网络。乳腺、黑色素瘤、肾脏和其他类别数据的贡献分别为15%、20%、15%和15%。

详细信息

我们使用Adam优化器分别训练分割、模态转换和分类网络。对于分割网络，批处理大小设置为每GPU 为12。学习率为1e-4，当20个时期内没有显著（小于1%）的损失衰减时，训练停止。对于模态转换网络，批处理大小为每GPU 为1。训练持续了50个阶段，学习率为1e-4.对于分类网络，采用十倍交叉验证，并通过对每个倍的结果进行平均来获得结果。对于每次迭代，我们分别训练了一个分类网络，每个GPU的批量大小为3。学习率设置为1e-5，然后在每10个时期之后除以因子2。训练在20个时期内没有明显的损失衰减时停止。所有实验都在8个Nvidia Tesla V100 GPU上进行，GPU具有32 GB内存。

讨论

脑转移瘤是常见的，通常最初表现为肺、黑色素瘤、肾、乳腺和其他部位的肿瘤。在发生脑转移瘤的患者中，36%在最初表现的1个月内确诊，72%在第一年内确诊，中位生存期为3.7个月，尤其是肺癌患者的生存期更差。与这些脑转移病患者更有利的生存相关的因素包括使用适当的系统治疗以获得更好的预后状态；选择最佳系统治疗的关键是准确诊断原发器官部位。特别重要的是，通过广泛的系统成像研究、诊断活检或其他原发器官部位识别方法，不会导致脑导向治疗的延迟。

为此，我们的工作提出了一种基于深度学习的影像组学方法，用于单独使用临床采集的T1 CE或FSPGR全脑MRI图像，从而实现临床应用。由于端到端的特性，所提出的框架是用户友好的，并且可以在几秒内实现，只需最少的人工干预。据我们所知，这项研究代表了深度学习在提取这项至关重要的分类任务的影像组学特征方面的首次应用，交叉验证方法表明，结果是可推广的。

我们提出的肿瘤分割网络具有两个主要优点：（1）对较小和较大的肿瘤都具有高灵敏度，以及（2）对不同数据集有高鲁棒性。对于脑转移瘤的分割，一个主要挑战是肿瘤大小的高度异质性。一些小转移肿瘤仅占MR图像中的几个体素，这很容易被通用网络忽略，因为在下采样过程中可能会丢失信息。另一方面，如何精确分割大肿瘤也很困难，因为卷积神经网络（CNN）往往更关注局部特征。为了解决这个问题，我们提出了一种卷积层和Transformer协同的网络。与卷积层不同，Transformer通过自我注意力机制关注全局信息。面向局部的卷积层与具有全局感知的Transformer的组合保证了所提出的网络集成了局部和全局特征。此外，在下采样和上采样块之间进行跳跃连接，以最小化特征提取过程中的信息损失。通过这种架构设计，我们提出的网络具有同样好地分割小的（例如，黄色箭头所指的肿瘤）和大转移肿瘤（例如，红色箭头所指肿瘤）的固有能力。所提出的分割网络的另一个主要优点是其在不同数据集上的鲁棒性和可推广性。当对没有肿瘤轮廓的数据进行测试时（图3B），所提出的网络表现得相当“保守”，以避免假阳性预测。在图3B的第三行中，所提出的网络仅分割具有显著肿瘤特征的区域，而其他方法可以容易地生成假阳性预测。此外，如黄色箭头所示，我们的方法可以根据未标记的数据分割微小肿瘤。由于本研究中使用的大多数数据不包含肿瘤轮廓，因此很难直接评估未标记数据集的分割精度。为了确保所提出的网络对未标记的数据有效，我们倾向于在报告某个区域为肿瘤时，所建议的网络比这些其他方法更“保守”。这样的设计将有效地降低假阳性率并提高对未标记数据的鲁棒性。网络的鲁棒性在临床环境中至关重要。由于MR图像是从不同制造商制造的扫描仪中收集的，因此在相同的协议和技术下收集每个MRI病例是不切实际的。一个鲁棒的网络可以容忍数据收集过程中的条件差异，并在不同的数据集上很好地推广。

作为一个基本步骤，肿瘤分割揭示了原始医学图像中的感兴趣区域，并有助于随后的影像组学分析。在这项研究中，肿瘤分割进一步改进了所提出的分类方法，不仅因为它让网络聚焦于肿瘤，还提供了其他关键信息，如肿瘤形状和大小。我们的分割方法的保守性能有助于避免误差的结果。然而，它也带来了对潜在的肿瘤轮廓信息丢失的担忧。为了缓解这一问题，在这项研究中，将全脑MRI图像（而不仅仅是分割区域）输入网络。

我们的结果进一步表明，深度学习方法是可行的，可以用更大的数据集进行改进。我们在肺部分类上取得了最高的准确率，该分类包含了本研究中使用的大多数病例（55.82%）。由于深度学习是数据驱动的，网络可以更好地学习如何提取影像组学特征，以便在训练过程中使用更多的案例进行分析。在这项研究中，为了克服数据存储和不平衡，采用了十倍验证，这需要更长的训练时间和大量的计算。未来，随着更多不同类型的数据的参与，直接将十分之一的数据用于测试将是可行的，以加速模型训练，进一步提高网络性能。

将cycleGAN纳入影像组学流程中放松了临床应用的要求。临床上，很少有大量数据集，每个受试者都以多种MRI方式进行扫描。一种常见的情况是，单个患者仅使用MRI序列的子集进行扫描。使用cycleGAN进行模态转换能够生成缺失的模态，克服了数据收集的困难，使所提出的方法具有广泛的适用性。同时，可以通过训练过程中的模态转移来转化更多的单模态案例，以提高分类结果。如7D和表6所示，与单一模态相比，通过模态转移的多模态输入得到显著更高的AUC分数。

我们的深度学习模型有几个进一步改进的机会。首先，来自原发性癌症部位的附加医学图像应该有助于增强影像组学流程的作用，例如肺部计算机断层扫描（CT）图像。我们假设原发部位的肿瘤和大脑之间可能存在一些共同的或相关的影像组学特征。添加这些附加图像可以引导网络找到这些共同的或相关的特征以进行更好的分类。虽然MRI的应用在某些身体区域并不常见，但已经在努力补充目前以X射线和CT为主的领域的患者筛查。第二，随着图像数量的增加，将有可能增加类别的数量，并覆盖更多的组织学亚型。源自不同亚型的脑转移瘤可能对某些靶向治疗和免疫治疗有不同的反应，可能需要更精细的分类方案来阐明这些差异。例如，Lu等人基于32537张病理图像将转移结果分为18类。第三，为了获得更多数据用于深度学习，多个机构和医院之间的合作伙伴关系或联盟非常重要。为了解决对医疗数据隐私和所有权的担忧，可靠的解决方案是联合学习。第四，结合了多个深度学习和/或机器学习模型的深度影像组学可以作为进一步改进转移分类的方法。对图像分类的研究表明，深度影像组学可以整合多个模型的最佳方面，并在稳定性和准确性方面产生优于任何单个模型的结果。第五，需要对我们的模型进行进一步迭代，以诊断原发性未知的癌症患者，在某些情况下，原发性癌症可能会一直未知，直至死亡。希望未来我们将完善我们的模型，进一步分析原发性未知的癌症患者的真正病因，以便及时启动最佳治疗。我们最初试图测试未知原发性癌症的模型；然而，我们队列中的病例太少（n＜21）。

使用深度学习提取影像组学特征已显示出超过经典影像组学分析的巨大潜力，我们的方法在Ortiz-Ramon的三级分类37（0.878比0.873）或Kniep的五级分类（0.878对0.82）中产生了比经典方法结果更好的性能。与依赖于有限的人工生成特征（如灰度共生和行程长度矩阵特征）的传统影像组学方法不同，深度影像组学不依赖预定义的特征；相反，它学习如何自己提取影像学特征。对于传统的影像组学来说，一个典型的局限是，如果没有充分提取人工导出的特征，影像组学就无法获得良好的结果。这样的问题可以通过数据驱动的学习，通过深度影像组学来解决。尽管从原则上讲，基于深度学习的影像组学优于传统方法，但没有必要放弃传统的影像组学。一种平衡的方法是将基于传统影像组学的人工提取的特征与深度影像组学特征相结合。虽然深度影像组学是自动和系统的，但人工衍生的特征具有更清晰的含义和丰富的语义。换句话说，学习的和人工计算的特征功能可以相互帮助，提高诊断性能。

最后但并非不重要的一点是，以深度学习为中介，对与脑转移疾病相关的原发器官部位癌症进行分类，可以改善医疗差距。根据美国疾控中心最近的一项研究，美国有263054名成年受访者来自农村地区。这些地区的医疗服务通常较少，医院可能人手不足，缺乏进行专门诊断测试的设备。与普通人群相比，这种差距导致健康状况和生活质量较差。事实上，Renz等人指出，农村地区是死亡增加的预测因素，也是鳞状细胞癌脑转移的全脑放射治疗结果预后不好的预测因素。像本文中描述的算法，一旦经过适当训练和验证，就可以在线远程部署以实时处理图像，作为放射科医生和肿瘤学家改进工作流程和诊断的工具。这将降低成本，减少测试，更快地确定脑转移的原发器官部位，并减少医疗保健差距。总之，我们的结果显示了深度学习方法的潜力，它将对脑转移瘤的诊断和治疗产生广泛影响，从而改善患者的医疗保健结果和生活质量。