【影像组学】影像组学基础介绍（工作流程，特征类型）

写点什么啦

于 2024-01-21 22:50:32 发布

阅读量1.4k

点赞数

文章标签：机器学习人工智能

摘要：

影像组学关注的是从医学图像种提取(extraction)和定量(quantification of patterns)。

它提取组织(tissue)和病变(leison)的特征，例如异质性(heterogeneity) 形状(shape)并可单独或结合人口统计学(demographic)、组织学(histological)、基因组学(genomic)或蛋白质组学(proteomic)数据，用于临床解决问题。

影像组学的工作流程：特征计算和选择(feature calculation and selection)、维度缩减(selection, dimensionality reduction)以及数据处理(data processing )

核医学中的潜在临床应用：包括基于PET影像组学的治疗反应和生存预测

介绍：

影像组学可用于捕捉组织和病变的特性，如形状和异质性，并追踪它们随时间的变化，尤其是在治疗或监测过程中。肿瘤学中，对组织异质性的评估对于生存的预测至关重要，而影像组学特征与此密切相关。相比于组织活检只能捕捉小部分肿瘤的异质性，影像组学可全面捕捉整个肿瘤体积的异质性，从而更全面地了解肿瘤的侵袭性。

此外，放射组学特征还被提出用于预测生存和治疗反应，与基因组学、转录组学或蛋白质组学特征直接相关。机器学习的运用使放射组学的影响力得以提高，特别是在处理大量信息时形成疾病特定的“放射组学签名”。放射组学数据的挖掘可用于发现疾病演变、进展和治疗反应的新标记和模式，采用“群体成像”方法。本文旨在为医生提供对技术上的放射组学术语的介绍，以促进医生与计算机科学家之间的沟通。文章强调了放射组学的技术限制和陷阱，并讨论了核医学中当前放射组学应用的一些实例。

影像组学的特征：

1.统计特征

基于直方图(histogram-based)和纹理的统计特征(texture-based)

最简单的统计描述符基于“全局”灰度级直方图(the “global” gray-level histogram)，包括灰度均值(mean)、最大值(maximum)、最小值(minimum)、方差(variance)和百分位数(percentiles)。

这些特征是基于单像素/体素分析，因此称为一阶纹理特征(first-order “texture” features)。

PET（Positron Emission Tomography，正电子发射断层显像）常用SUVmax、SUVmean和SUVpeak属于一阶纹理特征。

更复杂的特征还包括偏度(Skewness)和峰度(Kurtosis)，它们描述了数据强度分布的形状：
1.偏度反映数据分布曲线相对于均值的左侧（负偏，低于均值）或右侧（正偏，高于均值）的不对称性；

2.峰度反映了数据分布相对于高斯分布的“尾部”程度，由于异常值而引起。

其他特征包括直方图熵(histogram Entropy)和均匀性(Uniformity)（也称为“能量”） - 值得注意的是，这些特征与同名的共现矩阵(co-occurrence)特征不同。

绝对梯度（Absolute Gradient）对“真实”放射组学纹理描述的一种简单方法是分析绝对梯度，它反映了图像中灰度级强度波动的程度或突然性。如果一个是黑色的，另一个是白色的，梯度在两个相邻的像素/体素之间最大；而如果两个像素都是黑色（或都是白色），则该位置的梯度为零。类似于直方图特征，梯度特征包括梯度均值、方差、偏度和峰度。

灰度共生矩阵（Gray-level Co-occurrence Matrix，GLCM）GLCM是一个二阶灰度级直方图(second-order gray-level histogram)。GLCM捕捉具有预定义灰度级强度的像素/体素对之间的空间关系，不同方向（水平、垂直或对角用于2D分析，或13个方向用于3D分析），以及像素/体素之间的预定义距离。

GLCM特征包括熵，用于衡量灰度级的不均匀性/随机性(inhomogeneity/randomness)；角二阶矩(Angular Second Moment)（也称为均匀性或能量），反映灰度级的均匀性或有序性(reflects gray-level homogeneity or order)；以及对比度，强调属于像素/体素对的像素/体素之间的灰度级强度差异。

灰度行程长度矩阵（Gray-level Run-length Matrix，GLRLM）提供关于具有相同灰度级值的连续像素的行程在2D或3D中的一个或多个方向的空间分布的信息。

GLRLM特征包括Fraction（评估ROI内作为行程一部分的像素/体素的百分比，因此反映了“颗粒度”）；Long和Short Run Emphasis（Inverse） Moments（图1），它们分别偏向于长和短行程的存在；以及Gray-Level和Run-Length Non-Uniformity，它们评估了行程在不同灰度级和行程长度上的分布。

灰度大小区域矩阵（Gray-level Size Zone Matrix，GLSZM）和距离区域矩阵（Gray-level Distance Zone Matrix，GLDZM）具有相同灰度级值的相邻像素/体素组成矩阵的“区域”（所谓的“区域”）的数量。

GLSZM没有针对不同方向计算，但可以根据定义的像素/体素距离计算不同的邻域。GLSZM特征可以在2D（八个相邻像素）或3D（26个相邻体素）中计算，并根据GLRLM的定义，包括Fraction（属于区域的像素/体素的百分比）、Large和Small Zone Emphasis等（14,18）。

作为GLSZM的变体，距离区域矩阵（GLDZM）不仅评估具有相同灰度级值的相邻像素/体素的区域，而且要求它们与ROI边缘的距离相同。因此，GLDZM特征在纹理特征和形态学特征之间是“混合”的。这在某些贴近自解释的GLDZM特征名称中也得以体现，如Small Distance High Gray-level Emphasis（18）。

邻域灰度差异矩阵（Neighborhood Gray-tone Difference Matrix，NGTDM）提供关于具有相同灰度级值的连续像素的行程在2D或3D中的一个或多个方向的空间分布的信息。

邻域灰度依赖矩阵 (Neighborhood Gray-level Dependence Matrix，NGLDM) 提供基于中心像素/体素与预定义距离内邻域像素/体素之间的灰度级值关系。如果邻域像素/体素满足一定范围内的灰度级值差异的依赖条件，它们被视为与中心像素/体素相关联。

Large Dependence Emphasis（大依赖强调）和Small Dependence Emphasis（小依赖强调）：反映了中心像素/体素与邻域之间的依赖关系，其中大依赖强调关注异质性，而小依赖强调关注均质性。

Gray-Level Non-Uniformity（灰度级非均匀性）和Dependence Uniformity（依赖一致性）：反映了整个ROI中灰度级值的非均匀性以及灰度级依赖关系的一致性。类似于GLRLM，这些特征提供了关于ROI内中心像素/体素的强度i和j依赖邻域像素/体素的信息。

2.模型特征(Model-based)

旨在解释空间灰度强度信息(spatial gray-level intensity information)，以表征物体或形状。计算了一个纹理生成的参数化模型，并拟合到ROI中；其估计的参数被用作影像组学特征。

自回归模型(Autoregressive model) 这是一种基于模型的方法的示例，它的基本思想是像素的灰度级强度是其四个相邻像素的灰度级强度的加权和：左侧像素（Theta 1）左上方（Theta 2）顶部（Theta 3）右上方（Theta 4）此外，Sigma携带有关最小预测误差方差的信息，用于测量纹理的规则性。
分形分析(Fractal analysis)也产生可用于影像组学的特征，尤其是分形维度反映了随着放大、尺度或分辨率增加而添加结构细节的速率，因此可以作为复杂性的度量；Lacunarity是另一种特征，用于衡量缺乏旋转或平移不变性，反映了不均匀性(21)。

这些模型基础的特征分析可以提供关于图像中对象或形状的更深层次的信息，有助于理解医学图像中的结构和纹理。

3.变换特征(Transform-based)

基于变换的方法，包括傅里叶(Fourier)、Gabor和Haar小波变换，分析不同空间中的灰度级强度模式。例如，离散Haar小波变换分析了图像在不同尺度上的频率内容。

Haar小波变换：

Haar小波变换通过应用一对所谓的正交镜像滤波器，即高通和低通滤波器，对图像进行波尔变换。
高通滤波器突显灰度级强度的变化，从而强调图像细节。
低通滤波器则在灰度级强度方面平滑图像，去除图像细节。
在信号分解后，会生成一组空间方向频率“通道”，用于描述局部图像变化。
频率通道内的能量然后被用作特征。
高通滤波在两个方向上（HH，图1）捕捉对角细节；高通滤波后接低通滤波（HL）捕捉垂直边缘；低通滤波后接高通滤波（LH）捕捉水平边缘；以及两个方向上的低通滤波（LL）捕捉最低频率，分别在不同尺度上(15)。
值得注意的是，小波变换不仅可用于生成放射学特征，还可用于图像分割，或作为纹理分析的预处理步骤。

4.形状特征(Shape-based)

基于形状的特征描述ROI的几何属性。许多基于形状的特征在概念上比其他放射学特征简单得多，例如2D和3D直径、轴及其比率。基于网格（即小多边形，如三角形和四面体）的表面和体积方法更为复杂。特征包括紧密度和球度，它们描述ROI的形状与圆（对于2D分析）或球体（对于3D分析）的不同，以及密度，它依赖于构建包围ROI的最小定向边界框（或对于2D分析，是矩形）。

采集参数(Acquisition parameters)和特征标准化(Feature standardization)

图像获取设置、重建算法和图像处理等因素会影响SUV和放射学特征等图像导出的指标。

(标准化摄取值 SUV是PET在肿瘤诊断中常用的半定量指标，是指局部组织摄取的显像剂的放射性活度与全身平均注射活度。 SUV=病灶的放射性浓度(kBq/ml)/注射剂量(MBq)/体重(kg)。)

Zwanenburg等人	对42项PET放射学研究进行了荟萃分析，评估了特征的稳健性、可重复性和标准化情况，其中21项符合定量评估的条件	由于采集参数变异（例如扫描持续时间、迭代和子集数量、重建类型和算法以及空间分辨率）和图像处理（分割方法和灰度级别强度离散化）引起的数据异质性的不同方面。空间分辨率具有最强烈的影响，其变异系数（CV）为3.63；其次是扫描持续时间（CV为2.93）、分割方法（CV为2.92）、重建方法（CV为2.30）、用于后重建平滑的高斯滤波器宽度（CV为2.23）、迭代次数（CV为1.81）和子集数量（CV为1.08）。分割方法也具有相当大的影响（CV为2.92）。
Van Velden等人	报告了与简单SUV测量相当的放射学特征的重复性（60%的特征具有良好的重复性），并且这些特征对分割方法的敏感性高于对重建方法的敏感性	其他研究也发现，放射学的可重复性与SUV的可重复性相似(25)，并对图像离散化的敏感性较高
Lasnon等人	使用具有点扩散函数（PSF）建模和后滤波的有序子集期望最大化（OSEM）与普通OSEM相比，SUV和纹理信息相当，但未经滤波的PSF图像显示出更高的异质性（在分层患者方面可能更具有区别性）
Papp等人	使用基于球体的幻影比较了PET放射学特征类别对空间分辨率和重建算法变化的敏感性	为了最小化特征变异，他们建议使用小的体素尺寸、狭窄的高斯后滤波，并且像Lasnon等人一样使用PSF建模
Yan等人	bin大小对放射学特征影响较小，但迭代次数、后滤波宽度和体素大小影响较大（61个特征中有3个、8个和35个特征显示>20%的CV）
Galavis等人	80%被研究的纹理特征由于采集和重建参数的变化而显示出较大的变异性（>30%）（2D或3D OSEM算法、迭代次数、后滤波宽度和体素大小）
Pfaehler等人	与使用标准OSEM或TOF算法重建的图像相比，使用PSF重建的PET图像提高了可重复性
Whybra等人	研究了PET/CT放射学纹理和形状特征对三线性和样条插值进行重采样至等向体素尺寸的鲁棒性	约三分之二的141个放射学特征在两种重采样技术中都很鲁棒，另外21%可能是可纠正的。然而，两种插值技术之间的绝对差异在某种程度上是可观的，因此应一致使用单一插值技术。

深度学习在PET重建中的应用：

最近，提出了用于PET（正电子发射断层扫描）重建的深度学习方法，这些方法可以用于常规重建图像的后处理(33)，在迭代重建框架内(34)，或直接将PET数据映射到图像(35)。与传统的OSEM（有序子集期望最大化）相比，这些方法能够恢复或重建质量更高的PET图像，使图像噪声较小而分辨率不受损。

深度学习在PET重建中的应用主要有以下几个方面的优势：

降低图像噪声： 与传统的OSEM相比，深度学习方法能够在保持分辨率的同时降低图像噪声。这意味着通过深度学习重建的PET图像在视觉上更清晰，更易于解释。
更高的图像质量： 深度学习方法能够还原或重建更高质量的PET图像，这对于临床诊断和研究更为重要，因为图像质量直接影响对病灶的检测和定位。
保持分辨率： 与噪声降低相比，深度学习方法能够在提高图像质量的同时保持图像的分辨率。这是重要的，因为高分辨率对于检测小的病灶或结构变化至关重要。
对抗噪声的影响： 由于噪声对计算特征的影响很大，深度学习可能有助于生成更具鲁棒性的放射学特征。通过提供更清晰和准确的图像，深度学习有望减轻噪声对特征计算的负面影响。

模型构建和分类：

选择了放射学特征后，这些特征被用于预测目标变量，这些目标变量可以是：

当前的（Present）： 例如疾病的存在/不存在，肿瘤类型等。
未来的（Future）： 例如治疗反应，复发时间等。目标可以是标量（例如生存时间）由回归模型预测，也可以是分类模型预测（例如响应状态，受体阳性等）。

机器学习模型通过学习高维输入（放射学特征）与目标变量之间的关系，基于训练样本进行预测。其关键能力是利用一组预测变量/特征，即所谓的多变量模式，而不是单变量或大量单变量回归。支持向量机是最早取得高度成功的模型之一，但需要进行仔细的特征选择。"Bagging"和"boosting"方法，如随机森林，通过在训练过程中集成特征选择和有效采样来引入稳健的分类器/回归器。这为许多当前的放射学方法奠定了基础，这些方法根据其预测贡献选择特征。神经网络最近再次崛起，成为强大的分类和特征构建模型。在具有足够训练数据的情况下，卷积神经网络（CNN）优于特征选择方案，因为它们不是从预定义和有限的特征候选集中选择特征，而是从图像数据本身构造最佳特征。然而，其限制之一是需要大量的训练数据，这已经成功地通过诸如迁移学习等策略得到解决。

对于模型的性能评估，测试集上的拟合效果是预测目标函数输出的有效度量。对于分类变量，假阳性、假阴性或衍生的度量反映了相关的信息。由于许多方法有参数，接收器操作特性曲线（ROC曲线）被用于表示在参数范围内的预测准确性。交叉验证方案，其中训练和测试集在可用数据上进行轮换，可以缓解有限的数据集大小，但必须谨慎使用。一旦算法设计及其参数在中间交叉验证中被实质性地告知，提供独立的测试结果的能力就会丧失。在这里，最佳实践是使用一个保留的数据集，该数据集只在算法最终验证期间被使用，不会在中间交叉验证中被触及。

潜在问题和质量控制：

在进行放射学研究时，存在一些注意事项，其中一些在前面已经简要提到。这些包括需要高质量、无伪影的图像，最好是通过均匀的图像采集协议和重建技术获取的，和/或在无法实现这一点的情况下在放射学分析之前或之后使用适当的校正（例如在多中心的回顾性研究中）；数据集的足够大小和完整性；以及单独的训练和验证数据集。除了这些对于有意义的放射学研究的先决条件外，还有两个经常影响放射学研究的问题：类别不平衡和过拟合。

类别不平衡：

在随机临床试验之外，类别不平衡是常见的。尤其是在使用例行临床数据的回顾性研究中，感兴趣的条件的患病率很少与队列中缺乏该条件的患病率相同。例如，在弥漫大B细胞淋巴瘤患者中，18F-FDG PET中骨髓受累的患者约占16%（68）。在评估18F-FDG PET放射学对于检测骨髓受累的性能时，必须考虑到患有（16%）和没有骨髓受累的患者（84%）之间的这种不平衡。对于判断模型性能，一个将样本中的所有案例都分配给“无骨髓受累”组的分类器可能具有似乎不错的84%准确性，但从临床上来说是无用的，因为它实际上无法在PET上区分受累和未受累的骨髓（也请参见补充表1）。因此，不仅应报告整体准确性，还应报告按类别的准确性，或灵敏度/特异度

过拟合和欠拟合：

如果模型在函数逼近方面不足够平衡，可能会遇到过拟合，或在较小程度上是欠拟合。过拟合发生在模型具有大量输入参数或太多自由度时，可以“记忆”数据，以便不仅包括相关的、特定于疾病的特征，而且还包括反映图像噪声和随机波动的特征（补充图1）。这样的模型在训练过程中对提供给它的数据点进行正确的分类结果，但其在训练数据集之外的点上的响应是错误的 - 该模型无法推广信息。为避免过拟合，需要应用正则化以使模型函数平滑，或者需要减少输入特征的数量，从而减少所需的模型参数数量。使用单独的数据集进行验证有助于检测过拟合：如果在训练集上的误差减小，但在验证数据集上开始增加，就需要停止训练。另一方面，欠拟合发生在模型无法在训练和验证数据集中正确分类数据的情况下，例如因为它过于简单。在这里，可能需要更多的输入数据，或者切换到不同的模型。

放射学分数：

Lambin等人基于16个标准开发了一个与模态无关的放射学质量评分，这些标准具有不同的权重；最多可获得36分（48）。虽然根据公开建议采用标准化的图像采集协议是其中的一个标准，但它只有一个点的影响较小；多中心数据的软件校正或协调技术没有明确提到，可能是由于出版日期；相反，强烈建议使用试剂评估放射学特征值的变化。特别强调了前瞻性设计和试验注册，分别为七分和最多五分的验证数据集的使用。使用特征减少技术以降低过拟合风险也是一个相关标准，带有三分。值得注意的是，评估放射学方法相对于当前黄金标准（例如，放射学与基于图像的TNM分期比较）的附加价值，以及临床相关性和实用性，是重要的因素，每个都有两分。该分数还建议将放射学与临床、分子和基因组数据相结合。

临床应用：

放射基因组学：将成像数据与生物学联系起来

在非小细胞肺癌（NSCLC）领域，放射基因组学引起了特别关注。一些研究着眼于18F-FDG PET/CT影像数据与基因组学数据的关系，试图了解代谢性肿瘤体积（MTV）和直方图特征与基因表达及患者生存之间的相关性。研究者发现一些基因与放射学特征和生存存在关联，从而探讨了这些影像学特征可能对基因表达和疾病生存状况的预测具有的潜在价值。

分类问题和突破技术：

在研究PET数据的放射学特征时，研究人员还尝试解决分类问题，如NSCLC患者的EGFR或KRAS突变状态的预测。这些研究使用了不同的纹理和形状特征，并发现一些特征与EGFR状态显著相关，而与KRAS突变状态无关。然而，这些研究也面临着验证集的缺失和使用不同PET/CT扫描仪的数据的挑战，这可能影响了模型的泛化性能。

对放射学特征的异质性研究：

在另一项研究中，研究者使用18F-FLT-PET评估了对IDH突变的预测性能。然而，由于在不同PET设备上的数据采集参数存在差异，研究者采取了特征减少的策略，以避免过拟合。研究者发现预测的准确性较高，但灵敏度相对较低，这可能是由于类别不平衡和采集参数异质性的影响。

实验性研究：

一项实验性研究使用[125I]-A5B7抗癌胚胎抗原抗体纳米SPECT的GLCM特征，尝试区分转移性结直肠癌的表型。研究者发现未分化的转移灶与良好分化的病变相比更加异质，这些SPECT特征还捕获了抗血管治疗效果。然而，这项研究的规模较小，是一项实验性的初步探索。

总体评价：

这些研究表明，利用PET图像的纹理、形状和直方图特征进行放射学分析在肿瘤学领域具有潜在的临床应用。然而，这些应用仍处于研究阶段，需要更大规模的研究和验证，以确定这些放射学特征在不同类型癌症中的实际临床效果。同时，需要解决数据异质性、验证集的不足和模型泛化性能等方面的挑战。

预测临床结果：

肺癌患者放疗后总体生存预测：

一项研究针对358名I-III期非小细胞肺癌（NSCLC）患者，利用七个机构的治疗前18F-FDG PET数据，评估了18F-FDG PET放射学在放疗或化疗后总体生存（OS）预测中的潜力。研究使用了直方图、形状和纹理特征（GLCM、GLRLM和NGTDM，从原始和小波变换的图像中提取）以及传统PET指标。采用最小绝对收缩和选择运算符（LASSO）回归进行特征降维，加权线性特征组合。训练集包括133个数据集，内部验证集有204名患者，外部测试集有21名患者。该研究通过组合的放射学特征向量在验证队列中正确预测了14个月的生存差异，并在测试队列中未观察到生存差异。

鼻咽癌患者疾病无复发生存预测：

另一项研究通过评估预处理的18F-FDG PET/CT放射学特征和模型来预测III-IVa期鼻咽癌患者的无病复发生存（DFS）。研究采用了单一扫描仪类型和固定采集协议获取的图像，包括手动选择的放射学特征和通过深度学习CNN自动选择的特征。LASSO Cox回归分析用于特征降维。该研究证明，与基于临床数据和血浆EBV DNA的诊断模型相比，基于18F-FDG PET的放射学模型更为优越。该模型能够将患者分层为两个风险组，这两个组在5年DFS方面存在差异；只有放射学高危组在标准化疗的基础上通过引导化疗获益。此外，该研究未评估放射学特征与其他数据（如DNA）的组合。

胃癌患者DFS和OS预测：

一项针对214名胃癌患者的研究探讨了18F-FDG PET放射学特征（直方图、形状、GLCM、GLRLM、GLSZM和NGTDM）在DFS和OS预测中的应用。在该研究中，训练队列（132名患者）使用单一制造商的扫描仪进行检查，而验证队列（82名患者）则使用另一家制造商的来自不同供应商的不同扫描仪，提供真正的外部验证。虽然两个队列之间存在体素大小和其他采集参数的差异，但通过LASSO回归选择的放射学分数在DFS和OS的预测中表现优于TNM分期或肿瘤标记CA-19-9。这项研究未包括CT放射学特征或临床/实验室数据在放射学预测模型中。

结论

放射学是一种复杂的图像分析技术，具有在精准医学中建立自身地位的潜力。放射学特征不仅与基因组数据相关，而且可能提供关于整个肿瘤体积的肿瘤异质性的互补信息，以改善生存预测，因此可能对患者分层有用。对于核医学而言，其长期以来提供定量生物数据的传统，放射学可能代表其发展的下一个逻辑步骤，不仅作为临床决策工具，还作为一个研究工具，用于发现新的分子疾病途径。然而，制定和严格遵守标准化的图像采集和重建协议是至关重要的。