多模态深度学习发表Nature子刊参考这篇就够了！以子宫内膜癌风险预测为例

Python编程杰哥

于 2024-10-11 19:57:39 发布

阅读量268

点赞数 10

文章标签：深度学习人工智能知识图谱 llama easyui 前端

本文链接：https://blog.csdn.net/xx_nm98/article/details/142862045

版权

在《Nature Methods》期刊上发表的文章Prediction of recurrence risk in endometrial cancer with multimodal deep learning》中通过采用多模态深度学习方法对子宫内膜癌患者进行复发风险的预测，该研究将不同类型的医疗数据（如影像学资料、临床指标、病理报告等）进行综合分析，利用深度学习算法从中提取有价值的信息，从而实现对子宫内膜癌患者复发风险的高精度评估。

01.引言

该文章深入探讨了子宫内膜癌（EC）复发风险的准确预测对于提升患者治疗效果和预后的重要性。子宫内膜癌作为女性生殖系统中较为常见的恶性肿瘤之一，对其复发风险进行有效预测对于制定个性化治疗方案和改善患者生活质量至关重要。目前，常规的风险评估方法主要基于一些临床病理特征，包括但不限于组织学类型、肿瘤分级、LVSI、FIGO分期、患者年龄以及肿瘤的分子分类等。尽管这些因素在一定程度上能够辅助医生对疾病进行初步风险评估，但它们在预测患者复发风险方面的准确性仍有待提高。

针对现有方法的局限性，HECTOR多模态深度学习模型的提出，旨在通过整合不同类型的数据模态—包括苏木精-伊红（H&E）染色的全玻片图像（WSI）以及详细的肿瘤分期信息—来提升对子宫内膜癌复发风险的预测精度。HECTOR模型的创新之处在于其能够有效融合这些复杂的数据源，利用深度学习技术自动识别与复发风险相关的关键生物标志物和模式。

02.HECTOR模型

HECTOR模型是一个专为预测子宫内膜癌（EC）术后远期复发风险而设计的两步深度学习模型。以下是该模型的详细组成结构及对应功能：

1. 组成结构

HECTOR模型主要由以下几个关键部分组成：

1.1 第一步：基于视觉注意力机制的多实例学习

功能：这一步骤的主要目的是从整张苏木精-伊红染色（H&E）病理图像中提取出对预测复发风险有重要价值的区域。
实现方式：模型采用了一种特殊的注意力机制，能够聚焦于图像中的关键区域，同时忽略那些对预测结果影响不大的部分。这有助于模型更准确地捕捉肿瘤的特征，从而提高预测的准确性。

1.2 整合图像、图像分子分类和解剖阶段信息的多模态架构

功能：这一步骤将第一步提取的图像特征与图像的分子分类（通过另一个模型im4MEC预测）以及解剖学阶段信息（如FIGO 2009阶段I、II或III）相结合，形成一个完整的多模态模型。
实现方式：通过将这些不同来源的信息输入到一个深度神经网络中，模型能够学习到更复杂的特征表示，这些特征表示能够更全面地反映肿瘤的状态和患者的预后情况。

2. 对应功能

提高预测准确性：通过聚焦于图像中的关键区域并整合多种信息源，HECTOR模型能够更准确地预测子宫内膜癌的术后复发风险。
辅助临床决策：模型提供的预测结果可以为医生制定个性化治疗方案提供重要参考，有助于减少不必要的过度治疗或治疗不足。
推动研究发展：HECTOR模型的成功应用为子宫内膜癌的研究提供了新的思路和方法，有助于推动该领域研究的进一步发展。

在这里插入图片描述

HECTOR模型架构

总之，HECTOR模型通过整合多种信息源和采用先进的深度学习技术，实现了对子宫内膜癌术后复发风险的准确预测，为患者的个体化治疗提供了有力支持。

03.研究结果

内部测试集C-index：HECTOR在内部未见测试集上获得了C-index为0.789。
外部测试集C-index：在UMCG外部测试集上，HECTOR的C-index为0.828；在LUMC外部测试集中，其性能通过多个全玻片图像（WSI）的表现进行了描绘。
模型对比：HECTOR的判别能力优于基础Cox比例风险（CPH）模型（C-指数=0.681）和加入解剖阶段的CPH模型（C-指数=0.716），并且与加入解剖阶段和分子子宫内膜癌（EC）类别的CPH模型相当或更优。

数据结果图1

4.复发概率分析：使用Kaplan-Meier方法进行10年远处无复发概率分析，HECTOR低风险组、中间风险组和高风险组的概率分别为较高值、中等值和较低值。

5.随机选择WSI的预测：使用从每位患者随机选择的一个WSI进行100次重复评估的初始评估，HECTOR预测远处复发的平均C-index为0.802。

6.结合多个WSI的预测：当将每位患者的多个WSI组合为一个图像包作为输入时，C-index提高至0.805。

7.不同风险组的5年复发概率：HECTOR低风险组的5年远处无复发概率为98.4%，中间风险组为74.8%，高风险组为52.6%。

数据结果图2

8.治疗臂与HECTOR的相互作用：在PORTEC-3随机试验中，化疗与HECTOR风险组之间在远处复发方面存在统计学上显著的相互作用。

04.研究意义

提高预测准确性：HECTOR模型通过结合苏木精-伊红染色全玻片图像和肿瘤分期作为输入，显著提高了子宫内膜癌复发风险的预测准确性。
个性化治疗方案：准确的复发风险预测有助于医生为患者制定更个性化的辅助治疗方案，从而提高治疗效果和生存率。
推动深度学习在医疗领域的应用：HECTOR模型的成功应用展示了深度学习技术在医疗领域，特别是在癌症预后预测方面的巨大潜力。
优化医疗资源分配：通过精确预测复发风险，可以更有效地分配医疗资源，为高风险患者提供更为密切的监测和治疗。
改善患者生活质量：减少不必要的过度治疗，避免治疗相关的副作用，从而改善患者的生活质量。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述