文献解读 - 病理影像多模态模型+HoverNet+RNASeq可解释性分析+IHC验证

文章标题：可解释多模态人工智能模型用于预测胃癌新辅助化疗反应

期刊：Cell Reports Medicine

影像因子：9.9，中科院1区Top

发表时间：2024年12月

本文提出了一种创新的可解释人工智能框架——增量监督对比学习模型（iSCLM）。该模型巧妙地融合了新辅助化疗前的CT扫描图像以及H&E染色活检图像，用于改进治疗决策。

患者队列和纳排标准

回顾性队列：

2012年8月至2022年12月期间来自中国东西南北中部地区10个医疗中心的4284例胃癌患者的数据。患者被分为4个不同的队列：开发队列、外部测试队列1、外部测试队列2和增量队列。

1. 开发队列：1208例患者，其中774例患者仅基于CT影像进行特征分析，这些特定亚组用于初步模型的预训练。此外，有434例患者具有包括CT影像和病理全切片在内的综合数据，这一亚组用于构建监督对比学习框架；
2. 外部测试队列1：来自华中地区郑州大学第一附属医院的162例患者；
3. 外部测试队列2：来自华南中山大学附属第六医院、西京医院和西部大坪医院的222例患者；
4. 增量队列：795例；

PS:研发队列和外部试验队列的患者治疗为先接受新辅助化疗，之后接受根治性手术。增量队列为接受化疗、无法进行手术的未切除疾病患者，并评估其化疗疗效。

前瞻性队列：

2023年3月1日至2024年2月29日中国医科大学第一医院和天津医科大学肿瘤医院的132例患者。

模型建立与验证

模型开发

      ResNet-34预训练模型用于提取原发病灶和淋巴结的 CT 特征，经过全连接层处理后输出256维特征。ResNet-18预训练模型提取WSI中每个Tiles的特征，并采用图注意力网络（GAT）通过聚合邻域特征来区分节点权重来学习每条边缘的注意力分数。最后，监督对比学习模型学习CT 和病理图像的特征表示，促进跨模态理解，构建多模态模型。

模型评估

     增量 SCLM （iSCLM） 在外部测试队列 1 的 AUROC 评分为 0.866 （95% CI 0.804-0.927），外部测试队列 2 的 AUROC 评分为 0.876 （95% CI 0.820-0.933）。此外，iSCLM 在前瞻性队列中表现出优异的性能，AUROC 为 0.846 （95% CI 0.780–0.911，图 2C），优于 iRM （p = 0.007）、iPM （p < 0.001） 和 iRPM （p < 0.001）。

模型可解释性分析

iSCLM病理切片热图专注于肿瘤侵袭边界

       肿瘤侵袭边界是一个非常重要的区域，反映了肿瘤的侵袭性和与周围组织的相互作用。肿瘤细胞在这个区域的活动（如细胞增殖、炎症细胞浸润等）往往与治疗反应密切相关。为了评估模型是否更倾向于关注肿瘤侵袭边界附近的区域，本研究采用监督对比学习方法对GAT聚类中的Tiles进行重要性排序，并计算了每个图像块到肿瘤侵袭边界的最短距离。结果表明：排名靠前的图像块在肿瘤侧表现出显著更短的距离到肿瘤侵袭边界。这表明iSCLM 模型在识别与化疗反应相关的病理特征时，更关注肿瘤侵袭边界附近的区域，肿瘤侵袭边界附近的病理特征对于预测化疗反应具有重要意义。

iSCLM强调反应组和非反应组之间细胞类型差异

         为了进一步探索反应组和非反应组之间肿瘤侵袭边界内病理图像的生物学差异，采用HoVer-Net模型来确定tiles的细胞含量。对于iSCLM排名前10的tile，inflammatory cells/NEP 的比例（p = 0.007，图 3C）、connective tissue cells/NEP （p = 0.013） 和necrotic cells/NEP （p = 0.027） 的比例存在显着差异。

转录组学验证

        23名反应者和12名无反应者的RNA-seq数据被进一步收集用于评估两组的分子学差异。ssGSEA分析结果表明反应组中树突状细胞浸润显著增加（p=0.005），且相关通路显著激活。此外，反应组中CD11c炎症因子表达显著升高。这些结果表明树突状细胞在新辅助化疗反应中具有重要作用。

IHC验证

        对接受新辅助化疗的50个内镜活检样本（来自28个应答者和22个无应答者）的7种炎症细胞生物标志物（即CD4、CD8、CD11c、CD20、CD56、CD68和CD163）的IHC显示，响应组的CD11c（树突状细胞主要标志物）表达显著增加，CD163（M2巨噬细胞主要标记物）表达显著降低。多重 IHC 通过验证前瞻性队列中的 CD4、CD8、CD11c和CD163染色模式证实了这些观察结果（图 4I 和 4J）。

模型的现实价值

iSCLM 纠正 iRM 和 iPM 在前瞻性队列中所做的错误分类

        iSCLM模型通过整合肿瘤浸润边界和炎症细胞差异的病理学知识，纠正了iRM模型的错误预测。例如，患者1最初被iRM模型错误地预测为无反应者，但iSCLM模型在重新绘制的注意力图中突出了胃壁的异常区域。这种修正不仅提高了模型对患者反应预测的准确性，还通过解释性分析展示了模型性能提升的原因。

         患者2最初被iPM错误地分类为无应答者。通过iSCLM预测结果得到了校正。iSCLM模型能够识别CT图像上的病灶特征，并且显著降低了排名前10位的病理图像与肿瘤浸润边界之间的平均距离。

iSCLM 的预后价值和随后的现实世界影响

         单变量和多变量分析表明，基于iSCLM预测为对新辅助化疗有反应的患者比预测为无反应的患者有更好的总生存期。

        在前瞻性验证中，四类患者：预测对新辅助化疗反应良好并随后接受新辅助化疗的局部晚期胃癌患者（预测反应者治疗组），预测从新辅助化疗中获益但未接受治疗的患者（预测反应者-未治疗组），预测对新辅助化疗无反应且未接受治疗的患者（预测无反应者-未治疗组）以及预测对新辅助化疗无反应但接受治疗的患者（预定的无反应治疗组）采用倾向评分匹配校正接受新辅助化疗和未接受新辅助化疗患者的基线特征差异。倾向评分匹配后，预测结果显示，预测为响应且接受新辅助化疗的患者群体（predicted responder-treated group）表现出最良好的治疗结局，其5年生存率达到了53.6%。而预测为无响应但接受新辅助化疗的患者（predicted NR-treated group）显示出最差的治疗结局。图D、E、F进一步展示了在全部患者群体以及各个亚组中，接受iSCLM治疗指导的患者相较于拒绝iSCLM指导的患者，具有更好的生存结局。这表明iSCLM模型在整合多模态数据并提供个性化治疗建议方面具有显著优势，能够有效改善患者的长期生存率。

参考文献：Gao, P., et al. (2024). Interpretable multi-modal artificial intelligence model for predicting gastric cancer response to neoadjuvant chemotherapy. Cell Reports Medicine 5(12).