IF40.5！北大团队深度学习模型MuMo：人工智能+多模态数据精准预测治疗反应！医疗的AI 时代真的来了~

最新推荐文章于 2025-05-07 10:39:57 发布

小天才学习机打游戏

最新推荐文章于 2025-05-07 10:39:57 发布

阅读量675

点赞数 16

文章标签：人工智能深度学习知识图谱学习机器学习 transformer

本文链接：https://blog.csdn.net/m0_59164520/article/details/147746289

版权

题目：Predicting gastric cancer response to anti-HER2 therapy or anti-HER2 combined immunotherapy based on multi-modal data（Q1）

研究背景

仅使用单一模式数据通常无法捕捉患者之间复杂的异质性，包括对抗 HER2 治疗的耐药性和联合治疗方案结果的可变性，用于治疗HER2阳性胃癌（GC）。许多研究尚未充分考虑这种模式缺陷。此外，人工智能在预测治疗反应中的应用，特别是在GC等复杂疾病中的应用仍处于起步阶段。因此，本研究旨在使用综合分析方法准确预测 HER2 阳性 GC 患者对抗 HER2 治疗或抗 HER2 联合免疫治疗的治疗反应。

研究思路

研究结果

HER2阳性GC研究的多模态数据集和队列特征

本研究引入了MuMo的多模态模型，用于预测胃癌患者对HER2疗法和HER2联合免疫疗法的治疗反应。该模型通过整合病理全切片图像和放射学CT扫描等不同模态的数据来提取深度特征和组学特征，并结合临床报告进行训练。（图1）。

图1：多模态模型（MuMo）的工作流程

研究中使用的多模态数据的分布和特点，包括影像学、病理学和临床信息。研究通过整合这些不同模态的数据，构建了一个全面的患者画像，研究结果表明，这种多模态数据整合方法能够显著提高模型的预测性能。（图2）

图2 抗HER2联合免疫治疗队列的数据特征

MuMo在抗HER2队列中的预测性能

通过接收者操作特征（ROC）曲线和Kaplan-Meier（KM）曲线来展示模型的准确性和生存分析结果。研究方法包括使用Bootstrap重复实验来估计模型的稳定性，并通过消融研究来评估多模态信息融合模块对模型性能的贡献。结论显示，MuMo模型在预测HER2疗法和联合免疫疗法的反应中表现出高准确性，并且能够显著区分高风险和低风险患者群体，从而为临床决策提供有力支持。（图3）。

图3：集成了 7 种机器学习算法来识别最佳特征基因

MuMo的可解释性与临床见解

MuMo模型在病理全切片图像和放射学CT扫描中的可视化分析，通过区域重要性评分和注意力图来展示模型对特定区域的关注程度。研究方法包括对病理图像中HER2表达区域的识别，以及对放射学CT扫描中病变区域的定位和分析。结论显示，MuMo模型能够有效提取与治疗反应相关的肿瘤特征，并在临床信息子组中准确预测风险评分，从而支持其可靠性和临床相关性（图4）。

图4 多模态模型（MuMo）的可解释性分析

HER2阳性GC患者的多模式数据分析的全面概述

MuMo模型在HER2阳性胃癌治疗反应预测中的完整研究流程，从数据收集到模型分析，再到关键结果的展示。研究方法包括整合影像学、病理学和临床信息，通过MuMo模型的多模态融合模块提取特征并进行风险预测，同时验证了模型在不同治疗队列中的准确性和稳定性。结论表明，MuMo模型在预测治疗反应和生存结局方面表现出卓越性能，为个性化医疗提供了创新工具，并展示了其在未来扩展到其他癌症类型和治疗场景中的潜力。（图5）

图5 MuMo分步工作流程

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述