放射组学：从定性到定量成像

 在医学成像的历史发展中，它主要是定性或半定量的手段。对图像中的内容进行精确量化并将其转化为有预测价值的结果是一大挑战。但随着计算硬件和机器学习算法的飞速进步，现在的计算机技术已经能够从成像中提取出更为精确的定量信息，并与患者的临床结果进行关联。放射组学，无论是“手工特征提取”还是“深度学习”方法，都是这一领域的新兴方向。它的目标是将医学图像转化为定量数据，进而揭示患者的生物特征，为诊断、治疗选择、决策支持和疾病监测提供帮助。传统的手工放射组学方法主要依赖于从放射图像中提取形状、像素强度和纹理等特征。在本文中，我们将详细描述如何从医学成像数据中提取这些定量信息，并如何将其与临床和生物标志物结果相关联，从而建立预测模型，例如预测患者的生存率，或者用于疾病的检测和分类。深度学习，作为放射组学的新兴技术，其在整个放射组学流程中的作用、优势和局限性也将进行深入探讨。为了更直观地展示这些先进技术，我们还将介绍放射组学在肿瘤学中的具体应用案例，同时也会探讨其现有的局限性和未来的发展趋势。本文发表在The British Journal of Radiology杂志。（可添加微信号19962074063或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群)。

引言

       医学成像技术在医疗领域的发展已经从124年前的X射线发现，发展到现代临床实践中使用的CT、MRI和正电子发射断层扫描（PET）等技术（图1）。由于多种因素，这些工具已经成为许多疾病检测和诊断的不可或缺的部分，包括：成像的无创特性、技术的快速发展、与其他方法相比的较低成本、图像的高信息密度，以及硬件可以应用于多种疾病和部位。

图1. 医学成像关键发展的时间线。

CAD代表计算机辅助诊断；GLCM代表灰度共生矩阵；PET代表正电子发射断层扫描。

       在医学成像的初期，它产生了模拟图像，这些图像基于视觉检查和口头交流进行了主观解释。到20世纪末，信息技术已经将放射学带入了数字世界，尽管放射图的解释仍然主要是定性的。人类擅长通过视觉检查识别模式，但在进行复杂的定量评估时，他们往往缺乏能力。在1960年代初，研究人员开始关注计算机化的医学数据定量分析，以辅助临床诊断，这后来被称为计算机辅助诊断（CAD）系统。然而，这些系统采用了统计分析和概率理论的经典方法，可用数据量较低，因此结果对于临床使用往往过于不准确。在1980年代后期，理论计算机科学和数字成像的进一步进展导致了先进的机器学习和模式识别算法的发展，当与CAD系统集成时，它们能够产生临床可靠的结果。

      在最近的几十年里，简单的定量图像分析（QIA）已经被临床医生采用，并且主要集中在辅助定性观察。例如，全球的医疗机构中都可以找到CAD系统，帮助放射科医生和临床医生做出诊断和治疗决策。CAD系统最典型的应用之一是在癌症筛查过程中识别异常。在肺癌和乳腺癌研究领域有着显著的贡献。例如，有许多CAD研究专注于检测和诊断CT和胸部放射图上的肺结节（作为良性或恶性）。同样，许多这样的研究已经在乳腺X线摄影图像中进行，用于突出微钙化、结构扭曲和预测肿块类型。

      可以想象，缺乏定量信息会导致增加随访或进行被认为是不必要的侵入性活检，因为医学图像中的未使用信息。尽管在QIA中已经有了各种发展，但传统上放射科医生接受的培训是通过放射图像的视觉检查来理解潜在疾病的行为。这部分解释了为什么成像技术的大部分发展都在优化生成图像的视觉表示，供应商竞相生成最高质量的图像。除了CT，它具有半参数校准的Hounsfield单位，以及一些特定的MRI序列，单个体素值没有进一步的校准和建模就不与潜在的生物学相关。此外，定性分析并不太依赖于可重复的体素值，而机器另一方面只处理数值，并依赖于图像获取和重建的标准化来产生可重复的结果。医学图像的缺乏标准化一直是医学成像中QIA发展的主要障碍。然而，近年来，随着例如定量fludeoxyglucose-PET或定量MRI用于治疗反应评估的出现，定量成像变得越来越受欢迎。

      无处不在的计算机、大量的数据和先进的算法为医学成像开启了一个新时代。图像的高信息密度允许进行许多定量度量，因为复杂的操作可以捕获精细的像素和体素关系。放射组学涉及从大量数据中提取可量化特征的过程，这些特征可能与潜在的生物学或临床结果相关，并使用先进的机器学习分析技术。放射组学有两个主要分支，基于成像信息如何转化为可挖掘的数据：手工放射组学和深度学习。手工特征主要基于强度直方图、形状属性和纹理的公式，可用于指纹放射图的表型特征，而在深度学习中，一个复杂的网络“创建”了自己的特征。各种统计和机器学习模型已经被广泛研究，并被设想为通过辅助做出明智的临床决策来补充最佳医疗实践，无论是在肿瘤还是非肿瘤疾病中。

      自20世纪90年代以来，人们一直在预测，以人类基因组计划为先锋的基因组学将彻底改变治疗医学，预示着精准医学的到来。精准医学，也称为个性化医学，最初是指在临床工作流中加入基因组信息将导致疾病的预测、诊断和治疗的显著改进。最近，精准医学的范围已经扩展到超越基因组的输入。放射组学和其他“-omic”发展，如代谢组学和蛋白质组学，正在为医学带来一种范式转变，焦点已经从基于试验人群的标准临床协议转变为不仅针对疾病和部位，而且针对患者的个性化治疗，进一步实现精准医学。

      本文中，我们为快速增长的定量成像研究领域提供了一个广泛的概述和更新，重点关注“手工放射组学和深度学习”这两个分支，描述了其中的一些注意事项，并给出了初露头角的临床实施示例，这是迈向精准医学的基石。

放射组学：从特征提取到与结果的相关性

      在医学成像中进行纹理的特征提取并不是什么新鲜事，实际上在1980年代初，芝加哥大学放射科的Kurt Rossmann放射影像研究实验室就开始了严肃的研究，以开发用于检测肺结节以及在乳腺X线摄影图中检测成团的微钙化的CAD系统。第一个CAD专利早在1987年就提交了，使用了像素阈值和连续像素区域阈值的方法。

      放射组学的工作流程从医学图像开始，可以用二维、三维或四维来表示。图像包含以信号形式的定量数据，这些信号在不同的尺度上被捕获，并在设备之间变化。标准化技术被用来在数据集中均匀地分布像素强度，并在一个标准化的范围内。接下来，定义一个感兴趣的区域（ROI），这样只有与病变相关的信息才能被提取，可以提取的有用信息被称为特征。有竞争的方法在二维和三维中提取特征。其中一种方法是手动分割病变或创建一个边界框，如图2所示。这也可以使用自动分割算法来执行。自动分割的方法包括深度学习架构，如U-Net，或半自动方法，如点击增长算法。

图2. 使用(A)轮廓二值掩模和(B)使用边界框之间的区别。

      一旦定义了ROI，要提取的特征的选择取决于所寻求的信息。形状特征如体积仅与ROI的定义有关，如果这是手动创建的，会受到观察者之间和观察者内部的变异性影响。一阶特征提供了对像素强度分布的洞察，例如，像素强度的直方图由大量的统计方法量化，包括方差、偏度和峰度。然而，这些特征无法量化像素之间的相对位置。二阶和更高阶的特征可能捕获这种关系，其中二阶特征是基于两个像素/体素之间的平均关系获得的，而更高阶的特征是基于超过两个像素/体素的关系获得的。一个二阶特征提取方法的例子是灰度共生矩阵（GLCM）。GLCM是每个定义方向上的共现像素（图3），并被计数和记录（图4）到一个矩阵中。然后可以在GLCM上应用统计分析，如对比度、相关性和均匀性，以及定制的公式来提取独立特征。以这种方式提取的特征被认为是“手工制作”的特征，因为它们是由特别设计的公式预先定义的特征。

图3. 在二维和三维中计算共现矩阵的可能角度。

(A) 显示了2维中的4个可能方向，而 (B) 显示了3维中的13个可能方向。

图4. 计算水平共现像素强度的GLCM（灰度共生矩）。总共，可以汇总和跟踪3个水平平面上相邻的3和2的共现像素强度，并在相应的矩阵中记录。GLCM，灰度共生矩阵。

      在从数据库中的所有图像提取了特征后，需要选择一部分特征进入最终模型。为了使模型具有泛化性，避免在数据中找到不适用于其他类似数据集的伪相关性是很重要的，这种现象被称为过拟合。如果一个模型学会了识别噪声、异常值或其他种类的方差，当面对新数据时，它不太可能表现得很好。预测因子的数量越多，找到伪相关性的机会就越大，这在机器学习领域是一个主要问题。为了检测过拟合，理想情况下，模型的性能应该在具有类似的人口和结果分布的外部数据集中进行验证，但来自不同的中心——如果模型在训练集上的表现明显优于验证集，那么很可能发生过拟合。在没有外部验证数据集的情况下，数据可以被分割成不同的子集，模型在一个组中进行训练，在其他组中进行验证，这个过程被称为交叉验证（图5）。在这个过程中，模型的超参数（模型本身内部的设置，例如多项式拟合的程度）可以进一步调整，以增加训练和验证集的性能。

图5. 五折交叉验证的一个例子，可以用来评估机器学习模型。交叉验证提供了在整个数据集上测试结果的能力，为模型的整体性能提供了更好的估计。

       为了克服过拟合，我们通常会减少预测变量的数量，特别是在医学成像中的特征数量。特征选择是一个关键过程，它旨在减少预测变量的数量，同时保留与诊断结果或病理生物学相关的核心信息。尽管存在多种特征降维方法，但选择哪种方法最适合特定的数据集仍然是放射学研究的一个挑战。此外，为了更好地捕捉图像中的信息，我们可以将相似的特征组合在一起，使用如主成分分析这样的技术进行降维。

      在特征选择后，我们的目标是将这些特征与诊断和预后结果或与潜在的生物学机制相关联。在放射学领域，我们经常使用从简单的线性回归到更复杂的机器学习方法，如决策树和神经网络，来建立这些关联。特别是，集成方法，如随机森林，已经在放射学中得到了广泛的应用，因为它们提供了更稳健和可靠的预测。

      最后，为了确保我们的模型在不同的放射学设备和技术之间都是可行的，我们需要进行额外的验证。这通常涉及到在不同的数据集上测试模型的性能，以确保它不仅仅是对特定数据集过拟合的。此外，考虑到放射学图像的特性，我们还需要确保特征本身是标准化的，这样它们就可以在不同的设备和技术之间进行比较。这是放射学中量化成像研究的一个关键部分，它确保我们的发现不仅仅局限于特定的设备或技术。

深度学习用于完全自动化的工作流程 

      人工神经网络（ANNs）是一类基于生物大脑工作方式的机器学习架构。除了无监督学习（如自编码器）外，深度学习架构通常依赖于关于结果的信息来构建其特征，与手工制作的放射组学不同，特征提取和相关性是交织在一起的。此外，与放射组学不同，通常不需要图像分割，因为整个图像都可以呈现给深度学习模型，无论是在训练还是在临床常规中。

    人工神经网络（ANN）是模仿生物大脑工作方式的机器学习结构。在这种结构中，每个输入前都有一个神经元和相应的权重。这些权重会在被称为“时代”的迭代中不断地更新或调整，从而形成一个能够进行高精度预测的复杂函数。这些权重作为每个神经元的输入，经过乘法和平均运算后，得到一个传输函数。此传输函数通过一个称为激活函数的过程转换为输出。在放射学中，这种激活函数通常是一个S型函数，如双曲正切或S型函数，或者是一个称为修正线性单元的函数，该函数可以表示为系数和零或一的乘积的最大值。如图6所示，展示了一个单一神经元的表示，包括激活函数。通过堆叠多个神经元，可以创建一个称为“隐藏层”的单一层，而隐藏层（输入和输出都连接）可以堆叠以创建更大的网络，如图7所示。“深度学习”这个术语用于描述具有多层的神经网络，这被认为是深度的。对于二进制分类器或回归，最后一层应该只包含一个神经元，并使用S型激活函数进行二进制结果（零或一）的预测。如果问题是分类的，网络的最后一层应该包含与要分类的类别数量相同的神经元，最后的激活将是一个“softmax”函数，这是输入的指数的平均值，产生每个类别的概率。图像视觉的深度学习使用卷积神经网络（CNN），这是一种特别为图像设计的自动特征提取器的ANN类型。CNN使用一种过滤技术，该技术与内核（滑动窗口）卷积图像，在图像上滑动一组数字的矩阵，从而创建一个新的像素/体素值（从而创建新的图像），如图8所示。使用这些类型的卷积，可以制作各种不同的过滤器，如模糊、锐化、边缘检测和梯度检测，CNN能够学习最适合提取所需特征的过滤器。

图6。单个神经元的结构，其中包含一个传递函数和一个S形激活函数进行可视化表示。

图7。一个三层神经网络，是一个带有三个输入的二进制分类器。带有Xn的节点表示输入，而其他节点表示激活函数。节点之间的连接线表示权重。

图8。一个能够滤除垂直线条的滤波器。黄色线条代表核或滑动窗口，而右边的图像是在原始图像上执行卷积操作的结果。

       人工神经网络（ANNs）与使用手工特征和其他机器学习技术相比确实存在一些缺点。主要的缺点是对大型数据集的固有需求以训练模型，因为特征创建取决于训练数据，而不是手工放射组学。使用ANNs的另一个缺点是可解释性。ANNs构建了超复杂的函数，对于实践者来说很难理解。尽管CNNs在图像识别中表现得非常好，但它们在学习纹理特征方面的成功较少，因为纹理信息本质上与其他类型的数据集相比具有更高的维度，这使得神经网络更难掌握。根据Basu等人的说法，需要重新设计神经网络架构，以类似于GLCM（灰度共生矩）和基于空间相关性的其他特征的方式提取特征。

     目前，深度学习在放射组学工作流中的主要应用仍然是自动检测和定位器官和病变，从而消除了数据集策划的主要负担。虽然没有一个算法可以解决每一个问题，但深度学习仍然有其位置，并能够作为描绘和特征提取的额外方法，补充手工放射组学。目前正在积极研究结合深度学习特征和放射组学特征，显示出改进的结果。

     在放射学领域，我们认识到深度学习的潜力和局限性。尽管它为自动化提供了强大的工具，但与传统的放射组学方法相结合可能会产生更强大、更准确的结果。这种结合方法的研究正在进行中，旨在为放射科医生提供更准确、更可靠的工具，以更好地诊断和治疗疾病。

潜在的临床应用 

放射组学在肿瘤学中 

       放射组学已被广泛研究，用于肿瘤学中的诊断和治疗预后/选择，主要是由于存在用于分期的大型影像数据集，通常包含放射治疗计划所需的肿瘤和风险器官的划界。这些数据集可以用来训练各种癌症类型和部位的诊断和预后模型。使用临床报告、病理/组织学和遗传信息以及放射组学分析可以对疾病的生物学提供全面的了解。在本节中，我们将讨论在这一领域发布的一些值得注意的研究。

肺部 

       肺癌无疑是全球男性和女性癌症相关死亡的首要原因。近期的研究已经显示，放射组学能够从筛查扫描中确定肺癌的风险。放射组学特征被发现与解码肿瘤异质性的风险分层有很强的关联，结论是，具有异质性肿瘤的患者往往预后较差。此外，Yoon等人能够展示放射组学分析与基因表达的关联。放射组学特征还被发现与肺和头颈癌的TNM分期相关。后续的研究进一步验证了放射组学对远处转移的强预测能力。

      放射组学也可能在肺癌治疗计划中发挥作用，通过评估肿瘤对特定治疗的反应。有几项研究专注于分析肿瘤对放射治疗的反应。例如，Mattonen等人开发了一个放射组学标志，用于治疗反应，该标志能够预测放射治疗后的肺癌复发，而Fave等人使用多时间点信息，称为delta放射组学分析，来评估放射组学特征的变化作为肿瘤对放射治疗的反应的预测因子。结果表明，δ放射组学特征实际上是治疗反应的良好指标。Mattonen等人的另一项有趣的研究发现，放射组学分析可以识别与放射治疗后肺癌局部复发相关的特征，而医生通常很难区分局部复发和放射治疗引起的后续症状。

        除了放射组学流程中遵循的传统手工特征提取方法外，基于深度学习的放射组学也在研究者中越来越受欢迎。Shen等人采用的基于深度学习的方法比以前的方法更准确地预测了结节的恶性程度。Pham等人使用了两步深度学习方法来评估淋巴结转移，准确地检测出癌症。可以使用深度递归卷积网络架构来分析来自多个时间点的数据，以监测治疗反应。

大脑

      通常基于临床或病理分析对脑肿瘤进行分级，以定义其恶性程度。如Coroller等人在脑膜瘤患者中的报告中所述，放射组学可能能够非侵入性地进行分级评估，表明某些影像特征与组织病理分级之间存在强烈的相关性。张等人能够以高准确性区分低级胶质瘤和高级胶质瘤。陈等人研究了T1型肺腺癌患者的脑转移预测，发现放射组学模型的预测性能明显优于临床模型，可能用于脑转移筛查。Fetit等人对儿童脑肿瘤进行了放射组学分析，表明放射组学可以帮助分类肿瘤亚型。然而，这些研究中使用的技术的可扩展性需要通过使用不同的采集协议和供应商的多中心队列进一步评估。

       放射治疗可能导致坏死，这在影像上很难与肿瘤复发区分。Larroza等人能够使用放射组学分析开发出一个高分类准确性的模型，以区分脑转移和放射性坏死。 一些放射组学研究成功地使用放射组学方法研究了复发性胶质瘤患者的治疗反应。放射组学研究者的迭代研究发现，使用治疗前的影像数据，放射组学特征在预测胶质瘤患者的生存和治疗反应方面有很强的证据。

      深度学习在这一领域也做出了一些其他有趣的贡献。Chang等人使用残差深度卷积网络预测II-IV级胶质瘤的基因型，准确性很高。深度学习也可以用作传统手工放射组学研究的补充。例如，研究72,73专注于使用深度网络进行分割，然后进行放射组学分析以预测生存。

乳腺

      在女性中，乳腺癌是全球癌症死亡的第二大原因。然而，早期诊断可以导致更好的预后。乳腺癌领域的放射组学已应用于多种影像学方法，包括（PET）-MRI、（增强）乳腺摄影、超声和数字乳腺断层扫描，重点是肿瘤分类、分子亚型、新辅助全身治疗（NST）的肿瘤反应预测、淋巴结转移、总体生存和复发风险。例如，大量的放射组学研究已用于预测恶性乳腺癌。除了预测肿瘤的恶性程度，许多放射组学研究还探讨了乳腺癌分子亚型的预测，其目的是在未来避免进行液体活检。腋窝淋巴结转移的识别是一个重要的预后因子，并经常决定治疗的选择。对于所有临床上被诊断为淋巴结阴性的患者，前哨淋巴结活检是腋窝治疗的基础。董等人通过放射组学成功地预测了前哨淋巴结中的淋巴结转移，为这种侵入性方法提供了一种替代策略。

      除了预测乳腺肿瘤的恶性、肿瘤分子亚型和前哨淋巴结转移鉴定外，放射组学研究还为治疗计划做出了一些重要贡献。Chan等人研究了放射组学在治疗前影像数据上区分低和高治疗失败风险患者的能力。有多项研究使用放射组学分析预测对NST的肿瘤反应。例如，Braman等人发现，使用治疗前的影像数据，肿瘤内和肿瘤周围的放射组学特征的组合是病理完全肿瘤反应的强有力和稳健的指标。另外两项研究在包含随访扫描的连续影像数据上发现了类似的证据。使用多参数MRI预测对NST的肿瘤反应显示出了有希望的结果。

      深度学习方法也已经应用于乳腺癌研究。Huynh等人的研究调查了从在不同数据集上训练的卷积网络中提取的深度特征的肿瘤分类能力，与分析提取的特征进行了比较。结果表明，深度特征的性能更高。同样，另一项研究121使用深度学习进行风险评估，与传统的纹理分析相比，性能更高。

其他部位和疾病 

      虽然肺、脑和乳腺癌已经受到放射组学研究界的广泛关注，但任何部位都可以进行QIA研究。头颈部、卵巢、前列腺、肾、肝、结肠和直肠以及许多其他部位的癌症的诊断和预后放射组学研究正在进行中。放射组学研究的主要要求是存在放射学表型，该表型允许基于该表型内的差异或与潜在生物学的某种相关性对患者进行聚类，以及影像和临床数据的可用性。虽然并不像癌症那样普遍，但这意味着需要医学影像作为标准护理的非肿瘤性疾病也已成为放射组学分析的对象，如在神经学、眼科和牙科领域。

放射组学的局限性及朝向精准医学的未来方向 

      尽管放射组学为个性化医学领域带来了新的可能性，但仍然存在一些挑战。主要的障碍之一是缺乏大量和标准化的临床数据。尽管存储了大量的医学影像数据，但这些数据分散在不同的中心，并使用不同的协议获取。法律和伦理都严格限制了研究目的的访问。仍然需要进行详尽的数据策划和和谐化过程，使其可用于研究。放射组学可能会使基于影像的临床决策支持系统成为可能，但是，当前的黑箱方法，特别是在深度学习中，使其在临床应用中的接受度较低。在某些情况下，手工制作的放射组学特征已经与生物过程相关，但是，朝向可解释的人工智能(AI)的方向进一步工作是至关重要的，使其更容易实现临床实施。

      近年来，各国已经采取了许多措施来控制临床试验协议、数据获取和分析的变异性。例如，欧洲各国在欧洲核医学协会的帮助下采纳了一致的协议指导。定量影像生物标志物联盟倡议也旨在在更广泛的层面上实现同样的任务。另一方面，从算法上讲，深度学习的发展允许自动化质量检查、数据聚类以及器官和病变的自动化检测和轮廓化，大大提高了数据策划时间。生成对抗网络为生成合成数据提供了可能性，或者域自适应算法可能能够处理标准化数据的短缺。分布式学习技术提供了使用分布式数据训练机器学习模型的能力，而无需数据离开其原始位置。分布式学习已经在多个医疗机构中应用，以构建预测和分割模型。此外，这种方法可以与区块链等其他技术结合，以追溯数据的来源并监控最终模型的使用。研究人员已经提出了各种技术来可视化深度特征，以生成直观的理解。一个名为可解释AI的全新AI研究领域旨在跟踪智能算法所做的决策，以便人类更好地理解。像Google、IBM、Microsoft和Facebook这样的公司在这项研究中处于前沿。这不仅有助于在医学专家中建立对AI系统的信任，而且还为理解疾病开辟了新的可能性。

       精准医学的实施本身也有其局限性，并因过去二十年中“治疗医学的转型”缺乏而受到批评。到目前为止，尽管进行了大量的精准医学研究，但预期寿命或其他公共卫生措施并没有显示出任何显著的改进。仍然存在有争议的问题，如过高的成本（例如基因疗法），尽管放射组学等新的发展承诺在长远来看将降低成本。此外，复杂的“组学驱动”的模型在特定人群中的诊断和预后能力仍有待确定，需要产生这种方法改善健康结果的证据。精准医学可能会在未来十年内成熟并转化为临床工作流程，并将改变健康服务的提供和评估方式。医疗保健系统将需要调整其方法和流程以适应这些变化。

结论

      放射组学，无论是手工制作的还是深度的，都是一个新兴领域，它将医学图像转化为定量数据，提供生物信息，并实现诊断、治疗、决策支持和监测的表型分析。本质上，放射组学通过识别与疾病或治疗反应相关的特征或标志，以高精度和非侵入性的方式允许个性化护理。基因组学和深度学习的最新发展推动了放射组学研究者更加关注提取深度特征并探索AI建模中的新可能性。在未来，放射组学将成为精准医学工作流程中的有价值的补充，通过促进更早和更准确的诊断、提供预后信息、协助选择治疗、无创地监测疾病和治疗，并使基于个体反应的常规动态治疗成为可能。但是，通向这一愿景的道路很长，仍然需要解决许多技术、法规和伦理问题。