IF-12.4 | 膀胱癌多模态深度学习预测模型：融合病理图像与基因表达的图神经网络框架

研究概要

肌层浸润性膀胱癌（Muscle-Invasive Bladder Cancer, MIBC）是一类侵袭性强、预后差的泌尿系统肿瘤。当前标准治疗方案为新辅助化疗（Neoadjuvant Chemotherapy, NAC）联合根治性膀胱切除术（Radical Cystectomy, RC），然而，NAC仅能使约35%的患者实现完全病理缓解（pathologic complete response, pCR），而pCR与显著延长的总生存期密切相关。由于MIBC在组织形态和分子层面具有显著的异质性，现有的预测模型（如基于分子亚型、DNA修复缺陷、放射组学等）仍难以准确区分对NAC有反应的患者与无反应者。多模态人工智能方法近年来在临床预测中展现出巨大潜力，尤其是将病理图像（WSIs）与转录组信息整合，能够更全面刻画肿瘤生物学特征。本研究开发了一种可解释的图神经网络驱动的多模态深度学习框架（GMLF），旨在融合H&E全视野图像与基因表达数据，精确预测MIBC患者对NAC的反应，并探索潜在的组织学与分子生物标志物，为个体化治疗策略提供依据。

研究设计

• 数据来源：来自SWOG S1314前瞻性临床试验（N=237），最终纳入180例同时具备WSI和微阵列GEX数据的患者，其中56例为pCR（31.1%）。

• 建模策略：GMLF包含三个分支：

  • 图像嵌入分支（Neural Embedding Branch）：基于SlideGraph+构建图神经网络（GNN），利用ResNet50提取每个patch的嵌入特征。

  • 细胞类型与形态分支（Cell-type and Morphology Branch）：基于HoVer-Net提取每个patch中细胞类型比例及形态学参数。

  • 基因表达分支（Gene Expression Branch）：基于多层感知机（MLP）处理1071维基因表达向量。

• 预测输出：每个分支产生一个预测分值，通过晚期融合（late fusion）与Platt scaling转换为最终预测概率。

• 评估方式：80/20训练-测试划分 + 5折交叉验证；并进行单模态/双模态消融实验；使用SHAP框架进行模型可解释性分析。

核心结果

1 — GMLF模型结构图

该图构建了一个三分支的多模态预测架构，具体包括：

1. WSI Neural Embe