A Deep Learning-Based Radiomics Model for Prediction of Survival in Glioblastoma Multiforme

Introduction

讲述了脑胶质母细胞瘤（GBM）是成年人最常见的恶性原发性脑肿瘤之一，但由于肿瘤的空间和时间内部异质性，导致预后不良。为了探索医学影像与潜在基因特征之间的关联，提出了影像组学（radiomics）的概念。影像组学是指从放射影像中提取高通量的定量特征，并建立将图像特征与基因型模式和临床结果相关联的预测模型。放射组学的关键是高通量特征提取，以前的研究大多使用手工设计的表征特征。然而，这些特征是浅层和低阶的图像特征，可能无法充分表征图像异质性。因此，有必要评估更深层次、更高阶的特征，以提高放射组学模型的预测性能。

深度学习在计算机视觉领域的表现优异，其中卷积神经网络（CNN）是典型的深度学习人工神经网络，已经在图像和视频识别和分割方面取得了最先进的性能。然而，在医学图像分析领域，数据集通常不足以发挥深度学习的全部潜力。在计算机视觉领域，通常使用迁移学习和微调来解决小数据集的问题。迁移学习也可以并入当前的放射学模型中，以从CNN的隐藏层中提取大量的深度特征。这些深度特征包含更抽象的医学图像信息，与手工特征相比可能提供更多的预测模式。但是，目前很少有关于基于深度特征的放射学模型的构建和评估的研究。

本研究提出了一种基于深度特征的放射学模型，用于预测GBM患者的OS。研究人员从多模态MR图像中提取了手工特征和深度特征。深度特征是通过迁移学习从预训练的CNN中提取的。经过四个步骤的特征选择方法，选择了六个最稳健、不冗余且有预测能力的特征。最后，在发现队列上构建了一个放射学签名以及一个放射学诊断模型，并在独立的验证队列上进行了验证。图1显示了本研究放射学分析的工作流程。

注：预测GBM患者的OS"中的OS是指"overall survival"，即患者的总体生存期。因此，该研究的目的是通过分析医学图像特征来预测患有胶质母细胞瘤（GBM）的患者的总体生存期。

Methods 

Data Sets.

包括了112个患有神经胶质母细胞瘤（GBM）的患者，其中62名男性和50名女性，平均年龄为54.640岁±44.040，范围为10-84岁。患者分为两组：发现组和独立验证组。发现组包括了来自癌症基因组图谱（TCGA）数据库的75名患者，验证组包括了来自中国广州中山大学肿瘤中心的37名患者。研究得到了伦理委员会的批准。发现组的数据来源于公开数据库，无需伦理委员会批准。验证组的数据则获得了患者的知情同意。纳入标准是患有新诊断和未接受治疗的GBM，同时拥有生存信息和治疗前的MRI图像。排除标准是患有手术或化疗放疗史及缺乏生存信息的病人。总生存期从最初的病理诊断日期开始计算，直至死亡或截止日期。发现组的MRI数据来源于TCIA，包括与TCIA患者相对应的成像数据。

Image Preprocessing and Tumor Segmentation. 

描述了对T1、T1C、T2和FLAIR图像进行预处理，包括偏差场的N4校正、去骨头、通过线性插值将图像重采样到1毫米×1毫米×1毫米的等体积元素，使用T1C图像作为模板进行刚性配准，并通过直方图匹配进行强度归一化。所有预处理都使用开源软件ITK完成。然后，两名神经外科医生（Y.C.和J.Z.，分别具有8年和10年的神经影像学和神经外科肿瘤学经验）手动分割了三维肿瘤亚区。分割使用开源软件3D Slicer版本4.5.0-1（https://www.slicer.org/）在横断面上逐层进行。分割的三个肿瘤亚区包括坏死区、增强区和水肿区。坏死区是T1C中增强环内的低强度坏死结构，并在T2和FLAIR中具有高强度信号。增强区被确认为使用T1C和T1图像将坏死中心和出血排除在外的Gadolinium增强环。水肿区被识别为在T2和FLAIR中可见的异常区域，排除脑室和脑脊液。水肿区可能包括周围水肿和任何非增强的肿瘤。分割的肿瘤亚区然后用于特征提取。

Deep Features.

使用迁移

学习从预训练的卷积神经网络(CNN)中提取深度特征。研究选择了CNN_S作为预训练的CNN模型，该模型包含五个卷积层和三个全连接层。CNN_S模型在ILSVRC-2012数据集上进行了训练，并且通过交叉验证得到了13.1%的前五分类误差率。为了获取每个病人的深度特征，研究者选择了病人的坏死区、肿瘤核和整个肿瘤亚区作为CNN_S的输入。在所有四个MR模态下，从分割体积的多个横向切片中选择具有最大肿瘤面积的切片。然后，使用线性变换将灰度值归一化到范围[0，255]。根据分割结果，在所有四个MR模态下从选择的切片中裁剪出三个肿瘤亚区。接下来，将每个裁剪的亚区图像使用双三次插值缩放到224×224的大小。最终，仅使用前向传播即可计算深度特征，并从第6个全连接层和第7个全连接层中提取深度特征。对于每个病人，可以提取98304(4×3×2×4096)个深度特征。这个过程是通过使用深度学习工具包CAFFE完成的。

描述了一个关于图像特征的鲁棒性评估方法。在进行特征计算时，需要考虑到肿瘤分割的不确定性，因此选择了对肿瘤分割不确定性具有鲁棒性的图像特征。通过对30名患者进行测试-重测分析和不同医生之间的分析，来确定图像特征的鲁棒性。使用ICC（intraclass correlation coefficient）来评估从多个分割子区域提取的特征，其中ICC≥0.85的特征被认为是具有鲁棒性的。经过鲁棒性评估后，最初的99707个图像特征中，有85392个特征被保留了下来。          

描述了一个数据特征选择的过程。首先，对于所有特征，计算其中位数绝对偏差（MAD），并移除MAD等于零的特征，因为这些特征被认为是非信息性的。经过此步骤，剩下33881个特征。然后，使用协调指数（C-index）对这些特征进行预测价值分析，C-index是接收者操作特征（ROC）曲线下面积（AUC）的推广。具有C-index≥0.580的特征被视为预测性因素。经过预测性能分析后，剩下1581个特征。接下来，通过计算特征之间的相关系数，进一步减少数据维度。对于相关系数≥0.90的特征对，保留更具预测性的特征，移除另一个特征。最后，剩下150个图像特征被选为具有稳健性、预测性和非冗余性的特征。

Statistical Analysis. 

Clinical Characteristics. 

描述一篇医学研究中使用的数据分析软件和统计方法。其中，R软件是一个广泛使用的统计分析软件，用于处理和分析数据。X-tile软件是一个用于处理生物医学数据的工具，可以帮助研究者选择最佳的分析方法和阈值。

该段话还提到了一些统计方法，如独立样本t检验、曼-惠特尼U检验和卡方检验。这些方法可以用来比较发现组和验证组之间的差异，比如年龄、性别、肿瘤体积、KPS以及总体生存率等指标的差异。

Signature Construction

描述一项针对恶性胶质瘤患者的放射组学研究中，如何通过多元Cox回归模型构建一个放射组学签名来预测患者的生存情况。在该研究中，由于特征数目比患者数目还多，因此需要进行强有力的特征选择和收缩以避免过拟合，并增加解释性。为了解决这个问题，研究使用了最小绝对值收缩和选择算法（LASSO）Cox回归模型来构建放射组学签名。通过调整正则化参数λ，LASSO算法可以将所有回归系数缩向零，并将许多无关特征的系数设置为零。通过10折交叉验证来寻找最优的λ值，最终的λ值是使交叉验证误差最小的值。保留具有非零系数的特征进行回归模型拟合，并将它们组合成一个放射组学签名。然后，通过保留特征的系数进行线性组合，得到每个患者的放射组学分数。在研究中，使用R包glmnet进行LASSO Cox回归建模。

Signature Construction.

描述了一项研究，该研究使用了放射组学评分来预测患者的生存率。研究使用了发现数据集和验证数据集进行验证，采用Kaplan-Meier生存分析来评估构建的签名与生存的关联性。基于放射组学评分计算出的阈值，将所有患者分为高风险组和低风险组。阈值是使用X-tile软件在发现数据集上进行最佳切点分析估计的，并在验证数据集上进行测试。使用加权log-rank测试（G-rho等级测试，rho = 1）来测试高风险组和低风险组之间的显著差异。使用C-Index来评估签名的性能。

Signature Validation.

描述了一项生存分析的研究，研究的目的是评估一个构建的签名与患者生存之间的关联。研究采用了发现数据集和验证数据集，通过Kaplan-Mier生存分析验证了这个签名的效果。根据放射组学得分计算出一个阈值，将所有患者分为高风险组和低风险组。阈值是通过使用X-tile软件进行最佳切点分析，在发现数据集上估计得出，并在验证数据集上进行测试的。采用加权log-rank检验（G-rho rank test，rho = 1）来测试高风险组和低风险组之间的显著差异。使用C-Index来评估签名的性能。

注：Kaplan-Meier 是一种生存分析方法，用于估计人群中某种事件（如死亡、疾病复发等）发生的概率。该方法通过分析具有相似特征的个体的生存时间数据，计算出在不同时间点上，生存者的比例，从而绘制出生存曲线。该方法可以用于评估治疗方法的效果、探索不同因素对生存时间的影响等。

描述一项数据分析方法，其中使用了LASSO回归模型来筛选出具有预测能力的特征，并利用这些特征进行对患者的预后分析。具体来说，使用了发现集和验证集来进行单变量分析，对于具有非零LASSO系数的特征，分别在发现集和验证集中进行单变量分析，以评估其对患者总生存期（overall survival，OS）的预测能力。同时，对于每个具有非零系数的特征，通过将患者分为高风险组和低风险组，来评估其与OS的关联性。

研究人员使用放射组学方法构建了一个放射组学指标来预测患者的生存风险。他们还收集了患者的临床数据，例如年龄和KPS（Karnofsky Performance Status），并计算了这些临床风险因素的C指数。然后，研究人员将放射组学指标和临床参数一起输入Cox回归模型中，以评估其组合预测价值。该模型在发现数据集上进行拟合，并在验证数据集上进行验证，使用R包中的survcomp进行生存分析。简而言之，这段文本描述了一种将放射组学指标和临床参数结合起来评估患者生存风险的方法。 

Results

Clinical Characteristics and OS. 

发现集的OS中位数和平均值分别为441天和495.160天，验证集为377天和494.220天。发现数据集的年龄中位数和平均值分别为57岁和54.990岁，验证集的年龄中值和平均值为55岁和53.950岁。发现集有43名男性和32名女性，而验证集有19名男性和18名女性。发现数据集和验证数据集之间的临床和随访数据没有显著差异（性别测试P=0.553，KPS测试P=0.748，年龄测试P=0.909，肿瘤体积测试P=0.302，OS测试P=0.978）。

Signature Construction

LASSO-Cox回归模型中有六个特征具有非零系数。六个特征的介绍见补充表3。例如，T1C_SNE_F7_1508表明该特征是从T1C中的肿瘤核心提取的，并且取自完全连接层7的1508个神经元。LASSO-Cox回归模型中的最优λ选择如补充图1所示。

Signature Validation. 

研究者使用了放射学特征学（radiomics）来预测患者的生存情况。在发现数据集中，这个放射学特征学模型的C-Index为0.731，在独立验证数据集中为0.710，表明了该模型的预测性能。通过X-tile图计算得到的放射学分数的最优阈值为0.1343235。根据这个阈值，研究者将患者分为低风险组和高风险组，结果显示放射学特征学与患者的生存率显著相关，无论是在发现数据集中还是在验证数据集中，都表现出较高的预测力。

在图5中展示了基于放射组学的预测模型和相应的校准曲线，从直观上看，这个模型在预测脑胶质母细胞瘤（GBM）患者的生存率方面表现比年龄和KPS评分更好。也就是说，这个放射组学模型可以更准确地预测GBM患者的生存率，比传统的年龄和KPS评分等方法更可靠。

关于某项医疗研究的结果。研究中使用了不同的临床参数来评估患者的风险，包括年龄和KPS，它们的C-index分别为0.621和0.549。然而，在验证数据集中，这些参数并没有成功地将患者分成高风险和低风险组，G-rho排名测试的P值分别为0.324和0.620。相比之下，使用组合Cox模型能够更好地预测患者的生存情况，其C-index为0.739，且能够将患者分为高风险和低风险组，G-rho测试的P值小于0.001。总之，这项研究表明使用组合Cox模型可以更准确地预测患者的生存情况。

Radiomics Nomogram

 描述了一项研究的结果，研究使用了放射组学（radiomics）的方法来预测患有胶质母细胞瘤（GBM）的患者的生存率。研究结果显示，所提出的放射组学标准图（radiomics nomogram）比年龄和KPS（患者体能状况）更好地预测了患者的生存率。同时，图5中的校准曲线（calibration curve）也直观地展示了这一结果。这意味着，这项研究的结果表明，放射组学方法可以帮助医生更好地预测GBM患者的生存率，这对于制定更好的治疗方案和提高患者生存率具有重要意义。

Discussion

介绍了一项使用放射组学（radiomics）模型来预测胶质母细胞瘤（GBM）患者总体生存率的研究。该研究使用了一种深度学习模型，即CNN_S模型，将高阶深度特征提取并融合到放射组学模型中。通过对多模态MR图像（T1、T1C、T2和T2 FLAIR）进行高通量的手工特征和深度特征提取，并经过四步特征选择，最终构建了一个六个特征的放射组学标记，利用LASSO Cox模型进行预测。该标记与患者总体生存率相关，并成功地将患者分为高风险和低风险组。可以将放射组学标记与年龄和KPS等已知的临床风险因素相结合，进一步提高预测性能。通过将放射组学标记和临床因素结合成放射组学标准图，可以有效地预测GBM患者的总体生存率。

关于一项针对胶质母细胞瘤（GBM）患者的研究，研究中使用了深度学习技术提取肿瘤图像的深度特征，用于预测患者的生存期（OS）。研究发现，与传统的手工特征相比，使用迁移学习提取的深度特征在预测生存期方面表现更好。这是因为深度特征反映了更高级别的图像模式，并捕捉了更多的图像异质性。根据放射组学假设，肿瘤内部的图像异质性可能是潜在的遗传异质性的表达，这可能会导致对治疗的抵抗，并因此表明更差的预后。然而，解释深度特征与遗传特征之间的关联仍然具有挑战性，这与复杂的生物过程有关。未来的工作需要建立一个放射基因组学理论来解释深度图像特征与遗传异质性之间的相关性。

介绍了一项研究，该研究使用了多个特征来预测患者的生存期，其中有两个特征在验证数据集中获得了显著的统计学结果，但其他四个特征则没有。然而，使用多个特征的组合可以更准确地预测患者的生存期，比单个特征更有效。此外，研究者指出，即使在单个特征的分析中没有发现显著的生存期关联，也不能说明该特征不重要。从统计学角度来看，使用多元模型可以更加稳健地进行生存分析。此外，肿瘤内部的遗传异质性意味着肿瘤不同部位的遗传信息可能不同，因此使用多种模态的多个高阶深度特征可以更好地反映肿瘤的内部异质性。与高通量基因组学研究探索生物标志物类似，构建多因素放射组学签名也是一种常见的“组学”方法，可用于预测患者的生存期。

讲述一项医学研究，研究人员使用了一种叫做“放射组学签名”的方法来预测患者的预后风险，这种方法比传统的风险因素如年龄和身体状况评分（KPS）更有效。经过将放射组学签名与临床因素结合起来，研究人员得到了一种名为“诺模图”的预测模型，可以直观地预测患者的生存概率。通过校准曲线可以看出，这个诺模图的预测性能很好。总的来说，这项研究表明，放射组学签名可以作为一种有效的预测方法，可以帮助医生更准确地评估患者的预后风险。

注：诺图（Nomogram）是一种用于预测某种结果发生概率的图形化计算工具。它将多个预测变量的值映射到一个单一的连续变量上，从而使得预测结果可以通过简单的绘图来读取。诺模图通常用于医学和生物统计学领域，例如用于预测某种疾病的患病率或患者的生存期等。它是一种直观且易于使用的工具，能够帮助医生和研究人员更好地理解和解释复杂的预测模型。

研究的局限性。首先，这是一项回顾性研究，样本量相对较小，虽然使用了来自本地机构的独立验证队列。未来需要进行大规模的多中心研究，以充分评估放射组学模型的泛化能力。其次，由于样本量较小的限制，本研究采用了转移学习来提取深度特征。需要进一步的工作来通过微调预训练网络或从头开始训练专门的特征提取器。应该建立一个专门为MRI GBM放射组学模型设计的深度特征提取器。第三，未研究深度特征和潜在基因特征之间的关联性。未来需要进一步探索GBM患者的放射组学-基因组学相关性的潜力。

总结了该研究的主要发现和贡献。研究提出了一个由六个深度特征组成的放射组学标记，具有成为GBM患者OS预测的成像生物标志物的潜力。研究表明，深度学习方法可以融入最新的放射组学模型，以实现更好的性能。与年龄和KPS等传统因素相比，所提出的标记对GBM患者的OS预测具有更好的性能。研究提出了一个预测生存概率的数学模型。尽管存在一些限制，但所提出的放射组学模型有望促进GBM患者的术前护理。诺模图也被提出用于预测生存概率。总之，该研究的结果表明，放射组学和深度学习方法可以被用于开发一种非侵入性的成像生物标志物，来预测GBM患者的生存期，并可能有助于为这些患者提供更好的治疗和护理。