用于胶质瘤分级和分子分型的协作多任务学习与可解释影像生物标志物|文献速递-医学影像人工智能进展

Title

题目

Cooperative multi-task learning and interpretable image biomarkers for glioma grading and molecular subtyping

用于胶质瘤分级和分子分型的协作多任务学习与可解释影像生物标志物

01

文献速递介绍

胶质瘤是最常见的原发性脑肿瘤，其治疗方案制定和预后评估高度依赖于肿瘤的组织学分级及分子分型，特别是异柠檬酸脱氢酶（IDH）突变和 1p/19q 共缺失状态（Wesseling & Capper, 2018）。目前，组织活检仍然是确定胶质瘤分级和类型的主要方法。然而，活检是一种侵入性操作，可能带来一定的外科风险，如出血、感染和神经功能损伤等。此外，由于胶质瘤的高度异质性，单次活检可能无法全面反映整个肿瘤的特征，可能导致不完整或不准确的诊断（Han et al., 2020）。因此，探索非侵入性的胶质瘤组织学分级和分子分型方法已成为研究热点。

2. 胶质瘤的非侵入性诊断方法

目前，结合多参数磁共振成像（MRI）与机器学习技术的非侵入性胶质瘤诊断方法已被广泛研究。在早期，影像组学（radiomics）是最具代表性的非侵入性方法之一（Lambin et al., 2017; Yu et al., 2017; Tian et al., 2018; Bae et al., 2018）。该方法通过从肿瘤区域提取大量人工设计的特征，并利用机器学习模型进行胶质瘤分级或分型。然而，这类方法的预测准确性受限于人工特征的有效性。此外，影像组学方法通常需要精确勾画感兴趣区域（ROI），其性能高度依赖于分割结果。随着深度学习方法的快速发展，利用深度学习模型直接从原始多参数 MRI 图像中预测胶质瘤分级和分型已成为一种替代方案。最初的尝试是直接使用针对自然图像分类设计的基础网络进行胶质瘤分类（He et al., 2016; Huang et al., 2017; Howard et al., 2017; Zhang et al., 2018; Gao et al., 2021; Ding et al., 2021）。例如，Nalawade 等（2019）利用 DenseNet 从未经分割的 T2 加权图像中预测 IDH 突变状态，证明了深度特征在提高胶质瘤分类性能方面的优势。为了克服样本规模对预测性能的影响，Jiang 等（2022）基于预训练的 SE-ResNeXt 模型提出了多种迁移学习策略，以提高分类准确性和训练效率。然而，由于 SE-ResNeXt 模型的庞大参数量，该方法计算成本仍然较高。为了解决计算成本问题，Dutta 等（2024）提出了一种基于轻量级全局注意力模块的多尺度卷积网络用于多类别胶质瘤预测，该方法在减少参数量的同时保持较高的预测准确性。但该方法在外部验证集上的泛化能力尚未充分评估。尽管修改卷积神经网络（CNN）架构或训练策略可以改善预测效果，但这些方法忽略了多模态数据中固有的互补信息，这可能限制其预测能力。因此，近年来提出了多模态胶质瘤分类方法，通过有效融合多模态特征，显著提升预测性能。例如，Matsui 等（2020）使用 ResNet 提取 T1 加权、T2 加权和 PET 图像的特征，并简单地将这些特征与临床信息结合，以预测胶质瘤的分子亚型。然而，由于未设计专门的特征融合策略，该方法存在较严重的过拟合问题。为了解决该问题，一些基于注意力机制的多模态分类模型相继提出（Xu et al., 2024; Cluceru et al., 2022）。典型方法包括 AGGN（Wu et al., 2023）和基于 Swin-transformer 的方法（Pacal, 2024）。前者在空间金字塔模型中引入注意力机制，以融合不同序列的多尺度互补特征，提高了胶质瘤分级性能；后者采用混合滑动窗口多头自注意力模块以有效融合多模态信息，并利用残差 MLP 层替换 Transformer 块中的 MLP 层以提升预测精度。然而，尽管这些注意力机制方法在单中心数据集上表现良好，在多中心数据集上仍可能受异质背景信息的影响，导致泛化能力受限。

为提高泛化能力，一种改进策略是将肿瘤区域的先验知识引入分类网络，例如利用肿瘤边界框（He et al., 2021; Yan et al., 2022; Tandel et al., 2022）或肿瘤掩码（Ning et al., 2021; Wei et al., 2023）限制模型输入仅包含肿瘤区域，以抑制异质背景信息的影响。然而，这些方法需要事先标注肿瘤掩码，实际应用中并不总是可行。为克服这一问题，提出了两阶段方法（Naser & Deen, 2020; Tripathi & Bag, 2022; Fang & Jiang, 2024），即先检测或分割肿瘤区域，再进行分类预测。尽管此类方法在一定程度上提高了模型的泛化能力，但计算量大、耗时较长。此外，第一阶段分割或检测的错误可能会显著影响第二阶段的分类准确性。因此，胶质瘤分割与分类的多任务学习框架逐渐受到关注。例如，Cheng 等（2022）提出了 MTTU-Net 框架，该框架结合 CNN 和 Transformer 结构，同时预测 IDH 突变状态并分割肿瘤区域。然而，由于密集语义预测（分割）与全局语义预测（分类）之间的信息鸿沟，该方法的 IDH 预测准确性未能达到理想水平。不同于 MTTU-Net，MFEFNet（Zhang et al., 2024）采用 U-Net 分割胶质瘤，同时利用一个精心设计的编码器提取可区分特征进行 IDH 预测。该方法通过双注意力机制融合 U-Net 编码特征与分类编码特征，提高了 IDH 预测的准确性。然而，该方法仍然专注于单一分子分型任务，忽略了胶质瘤不同分子分型任务与分级任务之间的相互作用，可能限制其在临床应用中的有效性（Molinaro et al., 2019; Zhang et al., 2021b）。目前，能够同时执行多个胶质瘤分类任务与分割任务的方法仍较少。Decuyper 等（2021）和 van der Voort 等（2022）提出了多任务协作模型，同时执行胶质瘤分割、分级及 IDH 和 1p/19q 状态预测。然而，由于密集语义预测任务（分割）与全局语义预测任务（分类）之间的信息差异，难以保证分割与分类的同时准确性。此外，这些方法仅挖掘了多任务之间的共享特征，未充分探索任务特异性特征，限制了泛化能力，同时缺乏可解释性，无法提供与模型决策相关的影像生物标志物。

3. 研究贡献

为解决上述挑战，我们提出了一种新型的协作多任务学习网络（CMTLNet），并探索用于胶质瘤诊断的可解释影像生物标志物。主要贡献如下：

无分割的肿瘤特征感知（SFTFP）模块，通过自定义的肿瘤相关/非相关掩码-图像对，以二分类方式提取隐式肿瘤特征，避免了分割与分类任务之间的协同问题。任务共享特征提取，通过大余弦间隔损失约束类内特征一致性和类间特征区分性，以优化多任务共享特征的学习。

基于正交投影和条件分类的任务特异性特征提取模块，进一步增强特异性信息提取能力。独有-共享特征协同分类模块，通过空间与通道注意力融合特征，提升多任务预测性能。结合 SHAP 值和相关性分析，探