影像组学特征融合方法研究现状

什么是影像组学？

影像组学(Radiomics)是一种结合统计学和机器学习等分析建模工具的新技术。它能够从医学影像中挖掘肉眼无法观察到的隐藏信息，可用于进一步辅助临床诊断。其定义为高通量地从标准医学影像图像(如CT、MRI、PET等)中提取定量的影像特征，将其应用于临床辅助决策系统中可以提高诊断、预后和预测的准确性。这些生成的定量特征可以用于客观地描述肿瘤形态、强度、纹理等信息，将其输入到分类器训练，可以构建出具有诊断、预后或预测价值的模型。这些模型通过学习到的经验可以对未知的病例进行诊断或预测。目前影像组学模型已经成功应用于医学影像诊断领域，例如在肝癌、肾癌、乳腺癌、头颈部肿瘤等中的诊断。

如何构建影像组学模型？

构建一个传统的影像组学模型以辅助临床医生的医学影像诊断主要包括以下5个阶段，即医学图像的采集、感兴趣体积(Volume ofinterest,VOI)的分割特征提取、特征选择和分类器建模。

特征提取是影像组学流程中最重要的阶段，提取的特征质量的好坏可以直接影响后续的分类性能。其目的是利用临床医生手动勾画或者计算机自动检测得到的VOI提取医学图像中相应病变区域的高维的影像组学特征向量。提取的高维影像组学特征可以包括一阶的直方图特征、二阶的形态学特征、高阶的纹理特征和对应的滤波特征。许多研究基于影像组学特征进行临床分类任务，并取得了令人满意的分类结果。然而，他们通常只使用单一态的医学影像图像进行影像组学特征提取。由于每种模态的医学图像的适用范围不一样，使用单一模态的医学图像无法提供重要和全面准确的信息。在这种情况下，使用多模态的医学图像可以提供独立但互补的结构和功能信息。近年来，随着医学影像领域研究的日趋复杂，各种模态的影像技术相继出现，为辅助诊断算法研究提供了越来越多的选择。这些医学影像图像的不同模态提供了人体器官和组织的不同信息。融合来自不同模态的医学图像信息将为临床医生提供更好的诊断能力，并改善手术、治疗计划和评估。在同一个目标上使用多种模态的图像已成为一个不断发展的领域。例如，同时采集PET和CT已经成为许多应用的标准临床实践。功能成像技术(如PET)缺乏解剖特征，但可以提供关于疾病的定量代谢和功能信息，可以与CT和MRI一起工作，后者提供具有高对比度和空间分辨率的解剖结构的细节，以更好地表征病变。

提取影像组学特征后，下一个步骤需要构建预测模型对特征数据进行学习通过训练可以发现特征数据和预定义好的类别之间的潜在关系，并且通过训练生成的模型可以预测未知对象特征数据的类别。机器学习提供了几种常用的建模方法来实现这一目标，包括逻辑回归(ogisticRegression，LR)，k近邻(KNearest Neighbour，KNN)，决策树(Decision Tree，DeT)和支持向量机(Support Vector Machine，SVM)等。由于不同的分类器使用不同的数学理论来估计特征空间和类别标签间的假设联系，对于同一个临床分类任务，不同的分类器可能会获得不一样的性能。此外，由于缺乏特定分类器分布的先验知识，为特定的分类问题选择合适的分类器是一项十分繁琐和困难的工作。分类器融合是解决这一问题的另一种替代方法。分类器融合，也称为决策融合多分类器系统或集成学习，通过训练一组分类器来达成协作和聚合决策。该方法通过合并来自不同分类器的各种次优解来逼近未知真实假设，以扩大有效假设的覆盖范围。现已成功地应用于许多临床诊断任务中。因此，本文利用多个模态医学图像特征的融合和多个分类器的融合来构建更加鲁棒的影像组学模型，并探索了其在辅助医学影像诊断方面的潜力。

多模态信息融合简介

模态是指信息的来源或者形式。对于每一种信息源，都可以称为一种模态多模态信息融合是指将多个模态的信息和数据进行整合的一项技术研究，也可称为多源信息融合。其目的在于提高信息的准确性以及减少信息中的不确定性和歧义，并进一步获得比用单个模态的信息更好的决策结果。图像作为人类认知世界的视觉基础，是人类获取、表达和传递信息的重要手段。目前，将多模态信息融合应用于图像分类领域已经成为一个热门的研究方向。

多模态信息融合的层次结构

根据融合对象的不同层次，多模态信息融合过程可以分为3类，分别是像素级融合、特征级融合和决策级融合。
像素级融合:直接对不同模态图像像素进行融合以获得融合图像，是多模态信息融合中最低层次的融合。像素级融合方法可以避免像素点的变换，同时准确保留原始图像获得的信息，但是由于在像素层面操作，产生的计算量十分巨大，无法实现实时处理，且对噪声的敏感度较高。
决策级融合:属于多模态信息融合中最高层次的融合。在融合过程中，该方法先对从每种模态图像提取的特征进行独立的分类，并将其结果作为决策向量进行融合以获得最后的融合决策。决策级融合方法具有许多优点(如计算量小、噪声影响小)，但决策级融合是在晚期的阶段结合多模态数据，损失了大量的原始图像信息。
特征级融合:是介于像素级与决策级之间的中等水平的融合方法。该方法首先从不同模态图像中提取出目标区域的特征，其次对这些特征进行分析、处理与融合以创建更抽象、更紧凑的特征表示。融合后的特征向量可进一步用于分类、验证或识别。研究表明，特征级融合方法克服了像素级融合在对比度对噪声的敏感性等方面的劣势。并且特征级融合包含了比分类器的输出决策更丰富的生物特征数据信息，因此被认为比其他级别的融合更有效。因此本文专注于多个模态图像的特征级融合来实现更鲁棒的预测性能。